ニュースが本当かどうか、AIに聞けば確かめられる？研究では、AIの判定を見せても見分ける力は上がらず、人のファクトチェックでは上がった

DeVernaら / インディアナ大学（2024年）[1]

本物の政治ニュース40本（本当20本・偽20本）の見出しを見せ、信じるか、SNSで共有したいかを聞く実験です。AIの判定を必ず見せる組では、見分ける力に意味のある変化はありませんでした（−4.50%、統計的に差なし）。一方、人が書いたファクトチェックを見た組では、信じるかの見分けが18.06%、共有したいかの見分けが8.98%良くなりました。

AIの判定の中身ごとに見ると、害が出る場面もありました。AIが「偽」と誤った本当の見出しは、信じる割合が12.75%下がりました。AIが「わからない」と答えた偽の見出しは、信じる割合が9.12%上がりました。AIの判定を自分で選んで見に行った人は、偽の見出しを信じやすい傾向がありました。著者らは、見る前にすでに考えが決まっていて、確認のために見た可能性を挙げています。

対象: 性別・年齢・学歴・支持政党などを米国の人口に合わせて集めた2,159人。事前登録したくじ引き式の実験 ／ 限界: 使ったAIはGPT-3.5で、見出しは40本と少なく、米国の政治ニュースに限られます。人のファクトチェックの組は後日に集めたため、時期の違いの影響は否定できないと著者らは述べています。

QuelleとBovet / チューリッヒ大学（2024年）[2]

米国のファクトチェック団体が判定済みの主張と、多言語のファクトチェック済みの主張を使い、AI（GPT-3.5とGPT-4）に真偽を判定させた研究です。正解率は平均で63〜75%で、AIにネット検索で調べさせると上がり、白黒がはっきりした判定では80%を超えました。ただ、「半分は本当」のような白黒つけにくい主張は苦手でした。言語によって正確さが大きく違い、英語以外の主張は英語に訳したほうが当たりやすくなっていました。

対象: 米国の政治的な主張と、多言語のファクトチェック済みの主張 ／ 限界: 日本語は対象に入っていません。AIの判定の正確さを測った研究で、判定を見た人がどう受け取るかは調べていません。

Costelloら / マサチューセッツ工科大学など（2024年）[3]

陰謀論を信じている2,190人が、AI（GPT-4 Turbo）と、その人に合わせた根拠をもとに対話する実験です。対話のあと、その陰謀論を信じる度合いが約20%下がり、2か月後も効果が残っていました。AIとの対話は、使い方しだいで考え直すきっかけにもなります。

対象: 陰謀論を信じているオンライン実験の参加者2,190人 ／ 限界: 相手の考えに合わせて根拠を示しながら対話するAIの効果です。ふだんAIにニュースの真偽を短く聞くだけの場面とは条件が違います。