仕事でAIに作らせた文章や資料、そのまま出して大丈夫？研究では、もっともらしい間違いが混ざっていた

Noy・Zhang（2023）[1]

事前登録したオンライン実験で、仕事に合わせた文章作成の課題を出し、半数にChatGPTを使ってもらいました。使った人は平均の作業時間が40%短くなり、出来の評価は18%上がりました。働く人どうしの差も小さくなりました。

対象: 大学を出た専門職453人（オンライン実験） ／ 限界: 中堅の専門職が書くような文章作成の課題で測ったもの。内容の事実確認が必要な仕事での正確さを測ったものではない。

Walters・Wilder（2023）[2]

ChatGPTに42のテーマで短い文献レビューを書かせ、出てきた636件の文献を一つずつ調べました。実在しない文献は、GPT-3.5で55%、GPT-4で18%でした。実在する文献でも、大きな誤りを含むものがGPT-3.5で43%、GPT-4で24%ありました。

対象: 2023年4月第1週にGPT-3.5とGPT-4が作成した84本の文章 ／ 限界: 当時のモデルの結果で、現在のAIでは割合が変わっている可能性がある。文献の引用という一つの作業に限った結果。

Chelliら（2024）[3]

人が作った11本の文献レビューと同じ条件で、AIに文献を集めさせました。題名・筆頭著者・年のうち2つ以上が違う「でっち上げ」の文献は、GPT-3.5で39.6%、GPT-4で28.6%、Bardで91.4%でした。著者らは、AIが出した文献は必ず研究者が確かめるべきだとしています。

対象: 肩の病気の文献レビュー11本、AIが挙げた文献471件（2023年7月時点のモデル） ／ 限界: 医学の1分野に限った結果で、ほかの分野や新しいモデルにそのまま当てはまるとは限らない。

Goddardら（2012）[4]

自動化された仕組みに頼りすぎる傾向（自動化バイアス）を調べた74本の研究をまとめました。仕事の量、作業の複雑さ、時間の制約が、頼りすぎを強める要因として挙げられました。研修や「最終的な責任は使う人にある」と意識づけることが、頼りすぎを減らす工夫として挙げられています。

対象: 医療を中心に、さまざまな分野の判断支援システムの研究 ／ 限界: 生成AIが広まる前の研究で、文章を作るAIでの結果ではない。

Lyell・Coiera（2017）[5]

40本の研究を比べると、頼りすぎは複数の作業を同時にしているときだけでなく、一つの作業でも起きていました。答えが正しいか確かめるのが難しい作業で見られ、頭の負担の大きさと関係しているとみられました。

対象: 890本から選んだ40本（うち医療は6本） ／ 限界: 研究ごとに報告の仕方がばらばらで、対照群と比べた結果を示した研究は少ない。