AI FactScanAI FactScan
← 返回 Blog

AI 說得愈流暢,我們就愈容易相信?一場《魔戒》實驗的警告

AI 回答得完整、自信又順暢,我們很容易把這些表達特徵當成正確的訊號。一項 395 人參與的實驗,測試這種直覺會把我們帶到哪裡。

1. 開會時,你會相信哪一個人?

想像一下週一早上的跨部門會報。第一位同事講得有點卡,中間停下來翻了幾次筆記,但數據全部正確;第二位同事口條流暢、自信滿滿,簡報圖表做得很漂亮,仔細檢查卻會發現幾個數字套錯公式。

在會議節奏很快、沒有人能當場重算每個數字時,你會先相信誰?

多數人會不自覺偏向第二位,因為他聽起來比較可靠。我們打開 ChatGPT、Claude 或 Gemini 閱讀回答時,大腦也在做類似的直覺判斷。

2. AI 寫得完整,不代表它已經查證過

大型語言模型很會產生結構清楚、語氣自然的文字,也因此容易讓人覺得它很有把握。

即使模型不確定答案,甚至混入錯誤資訊,它仍能把內容整理成完整、流暢的句子。文筆和語氣帶來的可信感,不能證明回答背後有可靠證據。

當流暢度與正確性分開時,人們會優先相信哪一個?荷蘭拉德堡德大學(Radboud University)的傳播學研究團隊用一場《魔戒》實驗測試了這個問題,論文於 2026 年 10 月 22 日線上發布。

3. 研究人員如何用《魔戒》測試 AI?

研究人員找來 395 位參與者,讓每個人閱讀一段事先設計好的使用者與聊天機器人對話。對話以《魔戒》為主題,參與者也具備基本的作品知識。

《魔戒》有大量角色、地名與情節,許多細節都有明確答案。研究團隊把流暢度和內容正確性分開,設計出四個版本:

高流暢度 × 無幻覺說得順,也答得對

語句完整自然,內容沒有置入錯誤。

高流暢度 × 有幻覺說得順,但答錯

語句完整自然,內容混入錯誤資訊。

低流暢度 × 無幻覺回答簡短,但正確

語氣較簡潔、偏公事化,內容正確。

低流暢度 × 有幻覺回答簡短,也出錯

語氣較簡潔,內容同樣混入錯誤。

研究中的「低流暢度」指較簡短、較公事化的表達,並非文法破碎或胡言亂語。

看完對話後,參與者評估這套 AI 看起來有多聰明、是否值得信任、整體滿意度,以及未來願不願意再用。

4. 流暢地講錯,仍可能顯得很聰明

回答愈流暢,參與者愈容易認為 AI 聰明;回答中出現幻覺,評分則會下降。

「流暢但答錯」的 AI,和「簡短但答對」的 AI 得到相近的智慧評價。研究的等效性與貝氏檢驗顯示,兩組之間沒有具實質意義的差異。

流暢但答錯自然完整,混入錯誤資訊
簡短但答對公事化表達,內容正確

參與者認為兩者看起來同樣聰明。這不表示流暢可以消除錯誤的影響,而是表達方式確實會改變人們對 AI 能力的印象。

約 80% 沒有發現錯誤

這些參與者事前已通過《魔戒》基本知識篩選。

沒有察覺錯誤察覺錯誤

錯誤如果包在自然、完整又肯定的句子裡,很容易在閱讀時被略過。研究也發現,參與者覺得 AI 愈聰明,就愈可能信任它、對它感到滿意,並願意繼續使用。

5. 從會議室到聊天室,我們都可能把口條當能力

人類早就有這種判斷偏誤。簡報做得精美,容易讓人覺得準備充分;語氣肯定,容易讓人以為證據充足;表達有條理,也常被理解成對問題掌握得很深。

AI 讓這套判斷捷徑更難察覺。它很少結巴,不會在說錯時露出心虛的表情,送到使用者眼前的通常都是整理過的文字。

會說話是一種能力,說得正確是另一回事。

6. AI 說得頭頭是道時,先檢查三件事

下次使用 AI 處理重要決策或撰寫報告時,可以先做三個簡單的檢查。

  1. 它提出了哪些可驗證的主張?把回答中的人名、數字、研究成果與具體事件標出來。
  2. 它提供的來源真的存在嗎?核對標題、作者、日期與完整網址,確認不是 AI 捏造的引用。
  3. 來源真的支持這句話嗎?連結打得開只是第一步,還要查看原文是否得出 AI 所宣稱的結論。

AI FactScan 可以先整理回答中的引用,標示來源類型與品質,協助你決定哪些連結最需要打開。來源分級無法代替內容查證,重要主張仍應回到原文確認。

7. 說得漂亮與說得正確,是兩回事

AI 很好用,流暢的回答也確實能幫助我們快速理解陌生主題。麻煩出在我們有時會把順暢誤認成證據,省略原本應該做的查證。

下次看到一段完整、肯定、幾乎挑不出語病的 AI 回答,可以多停幾秒。先看它引用了什麼,再決定要不要相信。