SNSの相手がAIかもしれない。ボットのアカウントは見分けられる？研究では、文章や顔写真の印象ではほぼ当てられなかった

Jakeschら（2023）[1]

仕事・民泊のホスト・出会いの3つの場面で、AIが書いた自己紹介と人が書いた自己紹介を見せ、どちらが書いたかを答えてもらいました。正答率は50〜52%でした。正解に報酬を出しても、1問ごとに正誤を伝えても、ほとんど上がりませんでした。

参加者は、家族の話や「私」を使った文章を「人間らしさ」の手がかりにしていましたが、こうした特徴はAIの文章にも同じくらい含まれていました。人間らしく見えるものを選んだAIの文章は65.7%の判断で人が書いたと思われ、本物の人の文章（51.7%）を上回りました。

対象: 6つの実験の4,600人（主な実験は米国在住者） ／ 限界: 英語の自己紹介文の実験で、SNSの会話やコメントそのものではない。

NightingaleとFarid（2022）[2]

AIで作った顔と本物の顔を1枚ずつ見せる実験で、正答率は48.2%でした。見分けるコツを教え、1問ごとに正誤を伝えた別の実験でも59.0%にとどまりました。顔の信頼度を7段階で評価してもらうと、AIで作った顔の方が本物より7.7%高く評価されていました。

対象: オンラインの作業者315人・219人・223人（3つの実験） ／ 限界: 2020年ごろの1種類の画像生成AIで作った顔での実験。顔写真の見抜きにくさはBOHANの記事でも紹介している。

Kennyら（2024）[3]

実在したTwitterのアカウント50個（ボットらしいもの25、人らしいもの25）を見せ、ボットか人かを答えてもらいました。見分ける力は控えめで、半々なのに多くを「人間」と答えていました。探索的な分析では、SNSの経験が多いと答えた人ほど見分ける力が低い傾向がありました。

対象: 米国の113人 ／ 限界: 人数が少なく、正解は2つのボット判定ソフトの推定で決めている。

Varolら（2017）[4]

英語で活発に投稿するTwitterのアカウント数百万件を分析し、ボットの割合を9〜15%と推定しました。著者らは、見つけにくい高度なボットを人と誤判定している可能性があり、15%も控えめな数字だとしています。

対象: 英語で投稿する活発なアカウント ／ 限界: 生成AIが広まる前のデータで、日本語のアカウントは含まない。

Rickerら（2024）[5]

2023年3月に集めたTwitterのプロフィール写真約1,500万枚を調べ、0.052%（7,723アカウント）がAIで作られた顔だと推定しました。こうしたアカウントは、フォロワー数の中央値が60（本物の写真のアカウントは165）と少なく、半数以上（52.38%）が調査と同じ2023年に作られていました（本物の写真のアカウントは6.22%）。

数日間にまとめて作られた集団もあり、手作業で確認した1,000アカウントの話題は、政治（36.1%）と暗号資産を中心としたお金の話（33.1%）が多くを占めていました。

対象: 英語に限らないTwitterのアカウント ／ 限界: 1種類の画像生成AIの顔だけを探しており、ほかの方法で作った写真は数えていない。

YangとMenczer（2024）[6]

対話型AIで投稿を作っていたとみられるTwitterのボット1,140アカウントの集団を調べました。他人の自撮り写真を盗んで本物の人のように見せ、互いにフォロー・返信・再投稿し合い、暗号資産の話題や怪しいサイトを広めていました。既存のボット判定ツールも、AIの文章を判定するツールも、このボットと人をうまく見分けられませんでした。見つかったきっかけは、AIの断り文句をそのまま誤って投稿していたことでした。

対象: 2022年10月〜2023年4月の投稿から見つかった、Twitterの1つのボット集団 ／ 限界: うっかり正体を出したボットだけを見つけた事例で、全体の数はわからない。