1. 開會時,你會相信哪一個人?
想像一下週一早上的跨部門會報。第一位同事講得有點卡,中間停下來翻了幾次筆記,但數據全部正確;第二位同事口條流暢、自信滿滿,簡報圖表做得很漂亮,仔細檢查卻會發現幾個數字套錯公式。
在會議節奏很快、沒有人能當場重算每個數字時,你會先相信誰?
多數人會不自覺偏向第二位,因為他聽起來比較可靠。我們打開 ChatGPT、Claude 或 Gemini 閱讀回答時,大腦也在做類似的直覺判斷。
2. AI 寫得完整,不代表它已經查證過
大型語言模型很會產生結構清楚、語氣自然的文字,也因此容易讓人覺得它很有把握。
即使模型不確定答案,甚至混入錯誤資訊,它仍能把內容整理成完整、流暢的句子。文筆和語氣帶來的可信感,不能證明回答背後有可靠證據。
當流暢度與正確性分開時,人們會優先相信哪一個?荷蘭拉德堡德大學(Radboud University)的傳播學研究團隊用一場《魔戒》實驗測試了這個問題,論文於 2026 年 10 月 22 日線上發布。
3. 研究人員如何用《魔戒》測試 AI?
研究人員找來 395 位參與者,讓每個人閱讀一段事先設計好的使用者與聊天機器人對話。對話以《魔戒》為主題,參與者也具備基本的作品知識。
《魔戒》有大量角色、地名與情節,許多細節都有明確答案。研究團隊把流暢度和內容正確性分開,設計出四個版本:
語句完整自然,內容沒有置入錯誤。
語句完整自然,內容混入錯誤資訊。
語氣較簡潔、偏公事化,內容正確。
語氣較簡潔,內容同樣混入錯誤。
研究中的「低流暢度」指較簡短、較公事化的表達,並非文法破碎或胡言亂語。
看完對話後,參與者評估這套 AI 看起來有多聰明、是否值得信任、整體滿意度,以及未來願不願意再用。
4. 流暢地講錯,仍可能顯得很聰明
回答愈流暢,參與者愈容易認為 AI 聰明;回答中出現幻覺,評分則會下降。
「流暢但答錯」的 AI,和「簡短但答對」的 AI 得到相近的智慧評價。研究的等效性與貝氏檢驗顯示,兩組之間沒有具實質意義的差異。
參與者認為兩者看起來同樣聰明。這不表示流暢可以消除錯誤的影響,而是表達方式確實會改變人們對 AI 能力的印象。
約 80% 沒有發現錯誤
這些參與者事前已通過《魔戒》基本知識篩選。
錯誤如果包在自然、完整又肯定的句子裡,很容易在閱讀時被略過。研究也發現,參與者覺得 AI 愈聰明,就愈可能信任它、對它感到滿意,並願意繼續使用。
5. 從會議室到聊天室,我們都可能把口條當能力
人類早就有這種判斷偏誤。簡報做得精美,容易讓人覺得準備充分;語氣肯定,容易讓人以為證據充足;表達有條理,也常被理解成對問題掌握得很深。
AI 讓這套判斷捷徑更難察覺。它很少結巴,不會在說錯時露出心虛的表情,送到使用者眼前的通常都是整理過的文字。
會說話是一種能力,說得正確是另一回事。
6. AI 說得頭頭是道時,先檢查三件事
下次使用 AI 處理重要決策或撰寫報告時,可以先做三個簡單的檢查。
- 它提出了哪些可驗證的主張?把回答中的人名、數字、研究成果與具體事件標出來。
- 它提供的來源真的存在嗎?核對標題、作者、日期與完整網址,確認不是 AI 捏造的引用。
- 來源真的支持這句話嗎?連結打得開只是第一步,還要查看原文是否得出 AI 所宣稱的結論。
AI FactScan 可以先整理回答中的引用,標示來源類型與品質,協助你決定哪些連結最需要打開。來源分級無法代替內容查證,重要主張仍應回到原文確認。
7. 說得漂亮與說得正確,是兩回事
AI 很好用,流暢的回答也確實能幫助我們快速理解陌生主題。麻煩出在我們有時會把順暢誤認成證據,省略原本應該做的查證。
下次看到一段完整、肯定、幾乎挑不出語病的 AI 回答,可以多停幾秒。先看它引用了什麼,再決定要不要相信。
AI FactScan