寫過《全民策展時代》(Curation Nation,暫譯)的作者史蒂文・羅森鮑姆(Steven Rosenbaum),發表了一本探討 AI 與真相的新書。五天後,有位記者跑來問他:書中引述某位美國國防高等研究計畫署(DARPA)匿名研究員的話,出處到底在哪裡?
這一問,直接問出了一個大包。羅森鮑姆的出版社趕緊找來兩位真人事實查核員,把整本初稿從頭到尾翻一遍。結果不查還好,一查發現竟然有高達 26 段引言完全經不起考驗!這些引言後來只能逐一對照原始資料,有的緊急更正、有的改寫成摘要,有的則是乾脆整段刪除。
最諷刺的莫過於此:一本書名叫做《真相的未來》(The Future of Truth,暫譯)的書,裡面的文字竟然被 AI 修飾得比真實資料還像一回事。
一本講真相的書,卻在「查證出處」上翻車
羅森鮑姆澄清,這本書並不是 AI 代筆寫的。他只是把 AI 當作工具,用來整理研究資料、抓文件重點和潤飾文字。而且在出版前,初稿早就經歷過五輪嚴格的編輯審查,留下超過 4,000 處修訂紀錄。
這些把關機制確實讓文筆變得更漂亮,卻漏掉了一個最根本的問題:書裡引述的每一句話,真的是真人講過的話嗎?
那種爛得很明顯的錯誤,其實一眼就能抓出來。像是無效的 DOI(數位物件識別碼)、死連結,或是根本找不到出處的資料,都很容易被標記。但如果是一句冠上某位名人頭銜、語氣又修得極為順暢的話,可就難捉摸了。它讀起來就跟真的引言沒兩樣,特別是當內容完全符合該人士一貫的公開發言時,大家更不會去懷疑。
校對(Proofreading)看的是:這句話讀起來順不順、有沒有錯字?
來源查核(Source Checking)問的則是:你能不能一路追回這句話的原始出處?
怎麼確定 AI 給的答案沒有「拿明朝劍斬清朝官」?
請先從一旦翻車會造成嚴重傷害的內容開始檢查:直接引言、統計數據、法律依據、科學發現,以及對特定名人的立場描述。
接著,請順藤摸瓜一路查回最原始的資料。引用來源要有用,前提是它能帶你找到原始內容,並證明原話真的有支援你的觀點。
Ctrl+F 搜尋這段引言。為什麼「連結點得開」不等於「內容是真的」?
AI 要坑你,根本不需要憑空捏造一個假的資料來源。它可能會引用一篇真實存在、但裡面壓根沒提到這件事的文章;或是把正確的 DOI 錯貼到別的標題上;甚至把一段隨手改寫的摘要,直接包裝成句句屬實的「直接引言」。
你在挑選 AI 事實查核工具時,這點特別關鍵。好用的工具會把引用來源看得見、點得開。如果一個工具只給你一個查核分數,卻不給原始網址,你根本沒辦法親自驗證證據。
哥倫比亞大學護理學院團隊掃描約 250 萬篇開放取用的生物醫學論文,結果在 2,810 篇論文中揪出 4,046 筆根本不存在的參考文獻,研究並刊登於《刺胳針》(The Lancet)。這還只是最容易查出的錯誤:文獻到底存不存在。至於那些確實存在、卻被錯引或根本不支持論點的文獻,這次稽核還沒有算進去。研究無法證明每一筆假文獻都由 AI 生成,但問題已經很清楚:羅森鮑姆的書經過五輪編輯,這些論文也通過同儕審查,錯誤來源仍然一路過關。
當 AI 徹底給不出來源時?
請再問它一次,要求提供原始網址,以及能支援該觀點的確切段落。如果 AI 還是給不出來,就把這項說法直接當作「未經證實」。
對於引述別人的話,原則可以更簡單粗暴:找不到追溯得了的原文,就絕對不放引號。
這件事告訴我們:重點不是因噎廢食不用 AI
面對這次的大翻車,羅森鮑姆並沒有裝作可以回到那個「沒有 AI 的時代」。他選擇更正錯誤、公開事情經過,並重新發行修訂版。
這個務實的教訓其實很直白:AI 確實是整理研究、潤飾文字的好幫手,但它絕不能當作內容的「最終裁判」。在正式發表或送印前,依然需要有人親自點開那個原始連結,做最後的把關。
這也是 AI FactScan 存在的原因:整理 AI 回答附上的來源,讓你在引用內容前,直接打開原始網頁完成最後一次確認。
AI FactScan