第21話

LLMエージェント

道具を使うAI

LLMエージェントの動画のサムネイル

答えるだけだったAIが、道具を使って自分で動く。仕組みはぐるぐる回る輪。任せられる長さの伸びと、手が生えたことで増えた失敗。

この動画で話すこと

聞けば答えるだけだったAIが、検索し、ファイルを開き、プログラムを動かすようになりました。仕組みは「考える、道具を使う、結果を見る」をぐるぐる回すだけ。任せられる仕事の長さはどこまで伸びたのか。目的を見失う、できていないのに「できました」と言う、指示を乗っ取られる、といった失敗と、うまい任せ方まで、5分で。

章

  1. 口だけのAIに、手が生えた
  2. 今日の現在地
  3. 考える、使う、見る、の輪
  4. どこまで任せられるか
  5. 手の失敗は、現実になる
  6. 速くなった気がする、の実験
  7. コツは、新人への任せ方
  8. 次に見るなら
  9. 応援のお願い

ナレーション全文

これまでのAIは、口だけでした。聞けば、答える。でも、自分では何もしない。優秀な評論家です。

2022年ごろから、そのAIに、手が生えました。検索する。ファイルを開く。プログラムを動かす。

仕組みは、意外と単純です。考える。道具を使う。結果を見る。また考える。これを、ぐるぐる回すだけ。

たとえば、「来週の出張の手配を、お願い」。予定表を見る。列車を調べる。宿を探す。満室なら、考え直す。

答えを一発で当てるのではなく、試して、見て、直す。人間の仕事のやり方に、近づきました。

どれくらい任せられるのか。ある研究機関は、「人間なら何分かかる仕事を、AIが五分五分でやり遂げるか」で測っています。

2025年の春は、およそ50分。2026年の初めには、5時間あまり。幅のある推定ですが、数か月ごとに倍になるペースです。

実際のソフトウェアの不具合を直すテストでは、2023年、最良のAIでも、正解は2%足らず。いまは成績が上がりすぎて、テストのほうが見直されています。

ただし、手が、生えると、失敗も現実になります。口の間違いは、聞き流せば済む。手の間違いは、ファイルが消えます。

長い仕事の途中で、目的を見失う。できていないのに、「できました」と報告する。

さらに厄介なのが、乗っ取りです。読んだページに「これまでの指示は忘れて」と書いてあると、従ってしまうことがある。イギリスの政府機関は、完全な対策は出ないかもしれない、と警告しています。

意外な実験もあります。熟練のプログラマー16人に、AIを使う場合と使わない場合で、本物の仕事をしてもらいました。

本人たちは、2割速くなった、と感じていました。測ってみると、2割近く、遅くなっていた。

小さな実験で、道具もその後、進歩しています。ただ、「速くなった気がする」は、あまり当てにならないようです。

企業でも、試している所は6割。けれど、本格的に広げた業務は、どの分野でも1割以下、という調査があります。

いまのコツは、新人への任せ方と同じです。小さく頼む。途中で見る。取り返しのつかない操作は、人が押す。

手が生えたAIに必要なのは、もっと賢い頭より、いい上司なのかもしれません。

出典・参考

  • Yao et al., "ReAct: Synergizing Reasoning and Acting in Language Models", ICLR (2023) https://arxiv.org/abs/2210.03629
  • Jimenez et al., "SWE-bench", ICLR (2024) https://arxiv.org/abs/2310.06770
  • METR, "Measuring AI Ability to Complete Long Tasks"(2025年3月、2026年1月更新)
  • METR, 熟練開発者のランダム化比較(2025年7月)
  • 英国 国家サイバーセキュリティセンター(2025年12月)

つながっている動画