AIに書かせたプログラムやExcelの式が、何度直させても動かない。研究では、AIの直す力は2〜3回の修正で大きく落ち、会話を新しくしてやり直させると正答が増えていた

約9分で読めます

わかっている度 ★☆☆ 低研究5本を整理出典照合済み（2026-10-19）

机の上のノートパソコン — Photo: www.Pixel.la Free Stock Photos / CC0 / Wikimedia Commons

AIによる調査公開された研究をAIが調べて整理しました（商品の紹介はしていません。出典は末尾）。

AIに書いてもらったプログラムやExcelの式、マクロが動かない。エラーを貼って「直して」と頼むたびに別の形になり、何度くり返しても直らない。自分ではどこが悪いのかもわからない。そんなときは、AIに頼み続けるより、いったん区切るほうが近道です。研究では、AIの直す力は2〜3回の修正で大きく落ち、会話を消して最初からやり直させると正答が増えていました。

3行でわかる

18のAIモデルを調べた研究では、多くのモデルが2〜3回の修正のうちに、直す力の60〜80%を失っていました。同じ会話で頼み続けるほど、効き目は落ちていきます。
会話の履歴を消して最初からやり直させると、調べた6つのモデルすべてで正答が増えていました。人の側でも、エラーの表示を読むなどの声かけを受けた学生の組のほうが、直せた割合が高くなっていました。
直らないときは「動いていた版に戻す」「会話を新しくして要点だけ渡す」「エラーの場所を自分でしぼる」「直ったら少ないデータで答えを確かめる」の順に進めます。

01 結論から言うとAIに何度直させても直らないのはなぜ？

AIに同じ会話で修正をくり返させると、2〜3回目までに直す力が大きく落ちることが、研究で確かめられています。直らないのはあなたの頼み方だけのせいではありません。区切って、やり直し方を変えるのが先です。

AIは、前の会話の流れを引き継いで答えます。うまくいかなかった書き方が会話に残ると、その延長で直そうとして、同じところを回りやすくなります。

もう一つの理由は、こちら側にもあります。AIに書いてもらったコードは、自分で考えた道筋がありません。そのため、エラーが出ても、どこから見ればいいのか見当がつきにくいのです。AIで作った資料について質問され、答えられなかったときのことはAIで作った資料なのに、質問されて答えられなかったに、AIの出したものを確かめる係で見落としたときのことはAIの出した結果を確かめる係なのに、間違いを見逃してしまったにまとめています。

02 研究とデータでわかっていることAIの修正は、何回目から効かなくなる？

プログラムの問題164問で18のAIモデルを調べた研究では、多くのモデルが2〜3回の修正で直す力の60〜80%を失っていました。会話を消してやり直させると、6つのモデルすべてで正答が増えていました。

60〜80%18のAIモデルの多くが、2〜3回の修正のうちに失った「直す力」の割合（Pythonの問題164問、2025年発表）

72.56→82.82%会話をいったん消して最初からやり直させたとき、正答率がいちばん伸びたモデルの変化（同じ研究）

78.4%・55.2%中国の大学生122人のプログラミング授業で、「エラーの表示を読む」などの声かけがあった組となかった組の、デバッグの成功率（2026年発表）

17%トルコの高校生約1,000人の試験で、答えを聞ける生成AIで練習した組が、AIなしの試験で使わなかった組より低かった点の差（2025年発表）

Adnan・Kuhn（2025）[1]

プログラムの問題集（Pythonの164問）を使い、18のAIモデルに、テストに落ちたコードを直させ続けました。直す力は回を重ねるごとに急に落ちていき、多くのモデルは2〜3回のうちに60〜80%を失っていました。そこで、途中で会話の履歴を消し、元の問題文だけで最初からやり直させると、調べた6つのモデルすべてで正答率が上がりました。いちばん伸びたモデルは72.56%から82.82%へ、次のモデルは84.1%から92.1%へ上がっていました。

対象: 18のAIモデル（人は参加していない）／限界: 答えの決まった練習問題での結果で、仕事のExcelの式やマクロで同じになるとは限らない。モデルによって落ち方は違い、2回以内にほぼ全問を解いたモデルもあった。

Houら（2026）[2]

中国の大学のPythonの授業で、学生122人をくじ引きで2組に分けました。一方の組では、学生がやみくもに実行をくり返すと、AIが答えは教えずに「課題の条件を読み直す」「エラーの表示を読む」といった声かけを出しました。この組は、デバッグの成功率が78.4%（もう一方は55.2%）で、ほとんど変えずに実行し直す「当てずっぽうの試行」の割合は12.4%（同35.8%）でした。原因の場所を正しく当てた割合も72.4%と61.6%で差がありました。

対象: 中国の大学でコンピュータを学ぶ学生122人（平均19.6歳）／限界: 研究のために作った仕組みでの結果で、一般向けのAIをそのまま使った場合の結果ではない。

Bastaniら（2025）[3]

トルコの高校で約1,000人の生徒をくじ引きで分け、数学の練習にAIを使わせました。答えを聞ける生成AIを使った組は、練習問題の点が48%上がりましたが、AIなしで受けた試験では、使わなかった組より17%低くなりました。答えを教えずに順を追って導くように設定したAIでは、この下がり方がほぼ消えていました。生徒が答えを聞いて写す使い方をしていたことが、主な理由と考えられていました。

対象: トルコの高校1校の9〜11年生／限界: 数学の4回の授業での結果で、プログラミングを学ぶ大人で同じになるかはわからない。

AIでプログラムを作る研究チームの経験をまとめた専門誌の手引きでは、長い会話はAIの答えの正確さを下げるとして、会話を短く保ち、作業や目的が変わったら新しい会話を始めることを勧めています。また、AIのコードは「エラーなく動くのに、結果が間違っている」ことがあるため、途中の結果が予想と合うか、何段階かで確かめることも挙げていました。[4]

文章を書く課題の実験では、AIの答えをそのまま採用した人は、AIを外したあとの課題で、AIを使わなかった人より推論の質が低くなっていました。先に自分の立場を決めてからAIに問いかけた人は、使わなかった人を下回っていませんでした。[5]

03 まだわかっていないことExcelの式やマクロでも、同じことが言える？

仕事でAIにExcelの式やマクロを作らせた人が、直らないときにどう対処するとよいかを、人を対象に比べた研究は、今回調べた範囲では見つかりませんでした。今ある研究は、練習問題やプログラミングの授業が中心です。

AIの直す力が落ちる研究は、AIだけで試した結果で、人がエラーを貼りながら頼む場面で同じ回数になるかは確かめられていません。
AIは更新が速く、新しいモデルほど落ち方がゆるやかな可能性があります。同じ研究でも、モデルによって落ち方は大きく違っていました。
声かけで直せる割合が上がった研究は、大学でプログラミングを学ぶ学生が対象です。プログラミングを学んだことがない人で同じ効果があるかはわかっていません。
自分で原因を探すことで、次に似たエラーが出たとき直せるようになるかを、長く追った研究は見つかりませんでした。

04 今日からできること直らないコードは、どの順に立て直す？

AIに直させて2〜3回で直らないときは、頼み続けるのをやめます。動いていた版に戻し、会話を新しくして要点だけ渡し、エラーの場所を自分でしぼり、直ったら少ないデータで答えを確かめます。

動いていた版に戻し、今の版は別の名前で残す

ファイルを上書きし続けると、どこで壊れたかわからなくなります。最後に動いた版を開き直し、今の版は「日付＋壊れた」などの名前で保存しておきます。何をどう変えたかは、AIとの会話の中だけでなく、ファイルやメモにも書いておきます。

目安 5分

2〜3回で直らなければ、会話を新しくする

同じ会話で「直して」をくり返さず、新しい会話を開きます。渡すのは「やりたいこと」「最後に動いた版」「エラーの表示そのまま」の3つだけです。うまくいかなかった案の積み重ねを、持ち込まないようにします。

目安 10分

エラーの表示を読み、場所をしぼってから頼む

エラーの表示には、止まった行や理由が書かれていることが多くあります。その行を見て、どの入力のときに起きるかを、データを1行だけにするなどして確かめます。AIには「直して」ではなく「この行でこのエラーが出る理由を説明して」と聞くと、何が起きているかが自分にも残ります。

目安 15分

動いたら、少ないデータで答えを確かめる

エラーが消えても、結果が正しいとは限りません。3〜5行ほどの小さなデータで、答えを手計算や電卓と照らします。空欄、0、日付の境目など、間違いやすい値も1つずつ入れてみます。

目安 10分

会社のデータや顧客の名前を、エラーの確認のためにそのままAIに貼るのは避け、架空の値に置き換えます。入力してしまったときのことは会社の情報や個人情報をAIに入力してしまったに、仕事でAIの出したものを確かめる考え方は仕事でAIに作らせた文章や資料、そのまま出して大丈夫？にまとめています。

05よくある質問

AIに何回まで直させていい？

決まった回数はありませんが、18のAIモデルを調べた研究では、多くのモデルが2〜3回の修正で直す力の60〜80%を失っていました。2〜3回頼んでも直らなければ、同じ会話で続けず、会話を新しくして、エラーの場所を自分でしぼってから頼み直すのが目安です。

エラーが出なくなったら、もう大丈夫？

大丈夫とは限りません。AIでプログラムを作る研究チームの手引きでは、AIのコードはエラーなく動いても結果が間違っていることがあるとして、途中の結果を何段階かで確かめることを勧めています。小さなデータで答えを手計算と照らしてから使います。

AIに答えだけ聞いていると、自分では直せなくなる？

その心配を支える研究はあります。トルコの高校生の研究では、答えを聞ける生成AIで練習した組は、AIなしの試験で使わなかった組より17%低い点でした。答えを教えずに導くAIでは下がり方がほぼ消えていたため、「理由を説明して」と頼む使い方が手がかりになります。

プログラミングを知らなくても、原因はしぼれる？

すべては難しくても、手がかりはつかめます。エラーの表示に出る行や言葉を見る、データを1行にして試す、最後に動いた版と比べて何を変えたかを並べる、の3つは知識がなくてもできます。大学生の研究では、エラーの表示を読む声かけがあった組のほうが、直せた割合が高くなっていました。

出典

Adnan M, Kuhn CCN (2025). Measuring and mitigating debugging effectiveness decay in code language models. Scientific Reports, 15, 44120. https://doi.org/10.1038/s41598-025-27846-5
Hou X, Liu Z, Wang G, Shi N (2026). Bridging awareness and behavior: decoding implicit metacognitive behaviors in AI-assisted programming via fine-grained log analysis. Frontiers in Psychology, 17, 1790196. https://doi.org/10.3389/fpsyg.2026.1790196
Bastani H, Bastani O, Sungu A, Ge H, Kabakcı Ö, Mariman R (2025). Generative AI without guardrails can harm learning: Evidence from high school mathematics. Proceedings of the National Academy of Sciences, 122(26), e2422633122. https://doi.org/10.1073/pnas.2422633122
King RA, Abowd L, Broderick CW, et al., Fong CR (2026). Ten simple rules for effective use of generative AI for code development in environmental science. PLOS Computational Biology, 22(8), e1014627. https://doi.org/10.1371/journal.pcbi.1014627
Liu C, Guo J, Gao R, Chen X, Zhu Q, Chang P (2026). Borrowed or kept? How self-generation-first and direct-adoption AI workflows shape immediate unaided reasoning. Frontiers in Psychology, 17, 1910545. https://doi.org/10.3389/fpsyg.2026.1910545