第54話・準備中
蒸留と小さいモデル
大きな先生と、小さな生徒
大きなAIの知恵を、小さなAIに移す。スマホで動くAIは、こうして作られる。
この動画は準備中です地図で見る
この動画で話すこと
巨大なコンピューターでしか動かなかったAIに近いものが、いまスマホの中だけで動きます。鍵のひとつが「蒸留」。大きなAIを先生、小さなAIを生徒にして、正解だけでなく、先生がどれとどれで迷ったかまで教える方法です。小さくするほかの技、値段の下がり方、生徒の限界、そして「よそのAIを勝手に先生にしてよいのか」という争いまでを5分で。
出典・参考
- Hinton, Vinyals & Dean, "Distilling the Knowledge in a Neural Network" (2015)
- Sanh et al., "DistilBERT" (2019)
- Stanford HAI "AI Index Report 2025"