AI FactScanAI FactScan
← Blog

假的 AI 引用文獻是怎麼混進國會的?四階段錯誤傳遞鏈

一篇 AI 捏造的假論文,一開始可能只是草稿裡的幻覺,接著被放上政府網站,最後在搜尋結果中反倒顯得比真的還可信。

一份提交給澳洲國會的官方意見書裡,竟然引用了一篇學者根本從未寫過的論文。而當這份意見書被公開發布在政府網站後,搜尋引擎就能爬取到它,連 AI 摘要都可能把它當成真實存在的論文到處引用。

《澳洲衛報》(Guardian Australia)的一項調查發現,在國會聽證會收集的意見書中,至少有 39 份包含了疑似捏造或完全錯誤的參考文獻。有些意見書只是夾雜了幾條錯誤引用,但有的更誇張——記者查證的所有參考文獻,居然全都是子虛烏有的「幽靈論文」。

記者是如何查核這些參考文獻的?

為了進行這項調查,衛報團隊自行開發了一套工具,自動擷取意見書裡的參考文獻,並與 Crossref、Google 學術搜尋(Google Scholar)以及 DOI 資料庫進行比對。如果一份文件裡有超過 20% 的文獻查不到資料,記者就會進行人工逐筆核對,並且主動聯絡論文上列出的作者進行求證。

調查中發現,有超過 100 份文件帶有 ChatGPT 的網址標籤(URL tags)。不過衛報對此抱持審慎態度,因為如果有人從別處複製貼上連結,這些標籤也可能會被帶進來,單憑這點並不能百分之百證明作者直接使用了 ChatGPT。

一條參考文獻就算格式排版得再專業漂亮,也不代表這篇論文真的存在。

一條假引用是如何「弄假成真」取得公信力的?

1

AI 輔助寫草稿時,產生了不存在的假文獻

意見書裡寫出了看似極具說服力的論文標題、作者與期刊名稱,但實際上這篇論文根本不存在。

2

意見書被正式公開發布

文件被上傳發布在國會網站上,成為公開政府公報的一部分,任何人與搜尋引擎都能隨時抓取。

3

搜尋引擎與 AI 系統爬取了這個頁面

這條虛假的參考文獻,現在出現在極具公信力的官方政府網域上,後續的搜尋系統便會將其視為可信資料。

4

錯誤資訊又被包裝成 AI 答案回傳

AI 摘要在回答問題時,煞有介事地介紹這篇不存在的研究,還把國會網站的意見書當成權威依據。

官方網站的錯誤內容,又成為下一個 AI 回答的養分

政府網站上的網頁,內容依然可能完全未經查證

澳洲國會網站確實是正式的官方公報,但上面有大量的意見書是由外部個人或民間機構提交的。國會公開這些文件,並不代表官方已經替每一條論述或參考文獻背書或驗證過真實性。

搜尋引擎或 AI 看到「.gov」等官方網址時,往往會直接抓取並重複其中的主張,卻分不清楚這份文件只是外部民眾的投稿,更不會去核實文獻裡的論文到底是不是編造出來的。

真實學者姓名被冠在虛構論文上

有一份意見書引用了一篇掛名澳洲昆士蘭大學學者 Divna Haslam 的論文,不僅這篇論文根本不存在,意見書還完全扭曲了她團隊的研究成果。更離譜的是,Google 的 AI 摘要隨後居然把這條假引用當成了真實文獻來介紹。

另一份意見書則引用了雪梨大學教授 Nicole Gurran 從未發表過的作品;知名資深記者兼學者 Margaret Simons 也被列為一篇她從未寫過的期刊文章作者。這篇假文獻的排版與格式擬真到連 Simons 本人第一時間都愣了一下,懷疑自己是不是真的忘了曾經寫過這篇文章。

這項調查到底證實了什麼?

調查清楚證實:虛構或兜不攏的錯誤參考文獻確實混進了國會調查體系,甚至有部分委員會的官方報告直接引用了包含這些 AI 幻覺內容的意見書。不過調查也指出,目前尚未發現有哪一部澳洲法律真的因為特定假論文而遭到修改。

提交問題文件的機構之一「Drilldown Reports」坦承在研究過程中使用了 AI。他們表示後續補交的意見書其實已經修正了這些錯誤,但因為人員上傳失誤,導致更正期限過後留在線上的依然是錯誤的舊版本。

提交者必須負起最終責任

澳洲國會意見書提交指引特別提出警告:使用 AI 可能會影響內容的品質與正確性。提交者必須對自己提供的所有資訊負起全責,這當然也包括 AI 生成的任何內容。

在提交任何正式文件之前,請務必做到以下幾點:

  • 搜尋每篇論文的標題與作者組合,確認是否真有其文。
  • 透過 DOI 解析網址,並比對資料庫後設資料與引用內容是否一致。
  • 點開原始文獻,親自確認研究結論是否真的支持你的論點。
  • 只要在權威資料庫中找不到原始發布紀錄,就果斷將該文獻刪除。

AI FactScan 能為你做什麼?

AI FactScan 能自動檢查 AI 回答中的所有連結,即時標記出無效連結、空白搜尋結果頁、自我循環引用以及公信力薄弱的來源類型。

如果文獻清單中沒有提供連結,依然需要手動到學術資料庫中查證;而要確認論文是否真的支持某項主張,也依然需要親自閱讀原文。

儘早把關至關重要。在 AI 剛產出回答時挑出假引用,遠比在報告已經公開發布、被各大搜尋引擎索引後才來滅火輕鬆得多。