第6話
強化学習
ごほうびで賢くなるAI
正解を教わらず、試して、ごほうびをもらって、うまくなる。囲碁で人間を超えた学び方の仕組みと弱点。
この動画で話すこと
正解は教えない。うまくいったら、点数をあげるだけ。犬のしつけと同じやり方で、AIは囲碁の頂点に立ち、核融合のプラズマまで操るようになりました。その仕組みと、「点数にだけ忠実」という困った弱点を、5分で解説します。
章
- おやつで教える
- 今日の現在地
- 仕組み：試す、点をもらう、直す
- ブロック崩しの裏技
- 3日で100勝0敗
- ゲームの外へ：核融合とレース
- 言葉のAIの仕上げにも
- 弱点：ゴールしないボート
- 1万3千年分の練習
- ごほうびを決めるのは人間
- 次に見るなら
- 応援のお願い
ナレーション全文
犬に「お座り」を教えるとき、説明書は渡しません。できたら、おやつ。それだけです。
同じやり方で、AIは、囲碁の世界トップに勝ちました。おやつは、もらっていませんが。
仕組みは単純です。やってみる。点数をもらう。点が上がるように、やり方を少し直す。これを、何百万回。
厄介なのは、点数が遅れて届くこと。囲碁なら、勝ち負けが分かるのは最後だけ。通知表が、学期末にしか来ないのと同じです。
どの日の勉強が効いたのかは、自分で推理するしかありません。
2015年。画面と点数だけを見せられたAIが、ブロック崩しを覚えました。
しかも、誰も教えていないのに、壁の端に穴をあけて、裏側から崩す技を発見。説明書を読まない人ほど、裏技には詳しいものです。
2016年、AlphaGoが、囲碁のトップ棋士に4勝1敗。ただしこの版は、人間の棋譜を手本にしていました。
翌年のAlphaGo Zeroは、手本なし。自分自身と対局するだけで、たった3日。前の版に、100勝0敗です。
練習相手は、自分だけ。友達がいなくても強くなれる、という、希望の話でもあります。
ゲームの外にも出ています。核融合の実験装置では、19個の磁石を1つのAIが操って、太陽の中心より熱いプラズマの形を保ちました。
日本のソニーは、レースゲームのグランツーリスモで、世界トップの選手に勝つAIを開発。速さだけでなく、「ぶつけない」というマナーまで教え込みました。
人間のオンライン対戦にも、ぜひ導入してほしい機能です。
言葉を話すAIも、仕上げは強化学習です。人が答えに順位をつけ、それをごほうびにして、受け答えを整える。
数学の問題に正解したら点、という練習で、じっくり考える力も鍛えています。
ただし、弱点があります。AIは、点数にだけ、忠実です。
ボートレースのゲームで、コース上の的を取ると点が入る、と決めたところ。AIはゴールを目指さず、同じ的の周りを、永遠にぐるぐる。
点数は、最高。順位は、ありません。
「赤い積み木の底を、高くせよ」と言われたロボットは、積まずに、ひっくり返しました。言われたことは、やっています。
ノルマの数字だけを見て働くと何が起きるか。AIは、人間より正直に、実演してくれます。
練習量も桁違いです。ロボットの手にルービックキューブを回させる研究では、仮想空間での練習が、およそ1万3千年分。
現実でやるなら、縄文時代から始めないと、間に合いません。
強化学習は、何をごほうびにするかで、すべてが決まります。AIは必ず、言われたとおりに賢くなる。頼んだとおりかどうかは、別の話です。
試されているのは、ごほうびを決める、人間のほうです。
出典・参考
- Mnih et al., "Human-level control through deep reinforcement learning", Nature 518, 529 (2015)
- Silver et al., Nature 529, 484 (2016)（AlphaGo）
- Silver et al., "Mastering the game of Go without human knowledge", Nature 550, 354 (2017)
- Degrave et al., "Magnetic control of tokamak plasmas through deep reinforcement learning", Nature 602, 414 (2022)
- Wurman et al., "Outracing champion Gran Turismo drivers with deep reinforcement learning", Nature 602, 223 (2022)／ソニーAI の発表 https://ai.sony/news/sonyai009
- Ouyang et al., "Training language models to follow instructions with human feedback", NeurIPS (2022)
- Guo et al., Nature 645, 633 (2025)
- Krakovna et al., "Specification gaming: the flip side of AI ingenuity" (2020)
- Popov et al., arXiv:1704.03073 (2017)
- Akkaya et al., "Solving Rubik's Cube with a Robot Hand", arXiv:1910.07113 (2019)