AI FactScan
2026 年 9 月，美國新墨西哥州最高法院審理一起謀殺上訴案時，赫然發現律師遞交的上訴狀裡，列出了 4 位根本從未出庭作證的證人。不僅如此，書狀還把捏造的說法硬套在真實存在的證人身上，甚至還曲解了兩項判例法源。
承辦律師 Stephen Aarons 坦承，自己確實用 ChatGPT 來協助撰寫這份上訴狀，而且在遞交法院之前，完全沒有核對裡面的事實主張與法律引用。
法院過去就曾遇過 AI 捏造假判例的情況。然而在 State v. Sandoval 這起案件中，AI 的幻覺更進一步竄改了整場庭審的實際經過。
ChatGPT 手上明明握有全案資料
根據 路透社（Reuters）報導，Aarons 將電腦生成的完整庭審筆錄與相關訴訟資料全餵給了 ChatGPT。他原本以為，這樣就能拿到一份「滴水不漏的完美摘要」。
然而，ChatGPT 依然擅自加進了原始紀錄裡壓根不存在的人物與證詞。這些憑空冒出來的細節，包括了案發時恐嚇威脅的言詞，以及開槍兇嫌當時的穿著與外貌特徵。
把資料直接丟給 AI，並不能保證生出來的摘要就絕對可靠。內容裡的每一個說法，都必須逐一回到原始筆錄去核實來源。
律師看都沒看就直接送出
法院在裁定中指出，Aarons 親口承認自己完全沒有查證書狀裡的事實主張或法律依據，就這樣直接簽名並呈報給最高法院。
在 8 月 21 日的聽證會上，法官 C. Shannon Bacon 當面質問他平常到底看不看新聞。法官直言，律師輕信 AI 幻覺而出大包的新聞，「現在根本天天都高掛在報紙頭條」。
法院直接撤銷書狀並重罰
在 9 月 9 日的裁定 中，法院判定 Aarons 構成直接藐視法庭，重罰 5,000 美元。法院同時將他移送律師懲戒委員會調查，並在調查期間禁止他在該法院出庭代理案件。
法院裁定將該案所有的上訴書狀全數駁回撤銷，並指派公設辯護人辦公室（Law Office of the Public Defender）接手擔任新的辯護律師。這項裁定針對的是律師失職的行為，並不影響謀殺上訴案本身的實質審理。新的律師團會重新撰寫書狀，上訴程序也將繼續進行。
回頭問 ChatGPT「你確定嗎？」根本不算查證
很多人發現有疑慮時，會順口問一句：「你確定嗎？」但這只不過是給了 ChatGPT 另一句提示詞。它下一句回答可能會修正錯誤，但也可能用同樣自信滿滿的語氣，把原本的謊話再講一遍。
在提示詞裡加上「請不要產生幻覺」，效果也一樣有限。這頂多改變了 AI 講話的語氣，但它依舊沒有去翻閱外部獨立的真實資料來查證。我們在專文〈輸入「不要產生幻覺」真的有用嗎？〉中深入探討了這個現象。
真正的查證必須在對話框之外完成：逐一翻開筆錄，找出每位證人與每句證詞究竟寫在第幾頁第幾行；接著點開被引用的判例，仔細讀讀前後文段落到底是不是那個意思。
找到原始資料，然後親自讀一遍
AI FactScan 能自動找出 AI 回答裡的引用資料並加以評分。在第一道關卡，就能在錯誤資訊被放進報告、論文或法律文件之前，及時揪出漏掉、薄弱或可疑的參考來源。
接著，請親自打開原始資料讀一讀。即便是一個真實、權威的文獻來源，也不代表它能為旁邊那句陳述背書。任何論點能不能站得住腳，唯一的標準，永遠都在原始文件裡。