LLM

「むかしむかし、あるところに」。…続きは、言えますよね。

いま、あなたの頭がやったこと。それが、LLMのやっていることの、すべてです。次の言葉を、当てる。本当に、それだけ。

LLMは、文章を「トークン」という細かいかけらに分けて、数字の列として読みます。そして、次に来るかけらの確率を計算する。

言ってみれば、スマホの予測変換です。ただし、とんでもなく育ちすぎた、予測変換。

どれくらい育ったか。ある公開モデルが学習で読んだ文章は、15兆トークン以上。人間が寝ずに読み続けても、数万年かかります。

中にある調整つまみ、パラメータの数は、2019年のモデルで15億個。翌年には、1750億個。1年で、100倍以上です。

賢さの土台は、2017年に登場した、Transformer。鍵は、アテンションという仕組みです。

「トロフィーが、カバンに入らない。それが、大きすぎるから」。「それ」とは、どちらでしょう。

人間なら一瞬です。LLMは、文の中のすべての言葉どうしで、関係の強さを計算して、見きわめます。

でも、次の言葉を当てるだけで、なぜ賢く見えるのか。推理小説の最後の一行。「犯人は」の続きを当てるには、物語をまるごと理解していないと、無理ですよね。

次の言葉をうまく当てようとすると、文法も、知識も、理屈も、身につけるしかない。翻訳やプログラミングは、そのおまけで、できるようになりました。

ただし、弱点も、同じところから来ます。LLMが目指すのは、「正しい答え」ではなく、「もっともらしい続き」。

2023年、アメリカの弁護士が、AIに判例を調べさせて、裁判所に提出しました。その判例は、この世に存在しませんでした。罰金、5000ドル。

知らないことでも、すらすら答える。自信満々で、間違える。…人間にも、たまにいますが。

いまは、答える前にじっくり考える推論モデルや、道具を使って仕事を進めるエージェントへと、進化が続いています。

日本でも、スーパーコンピュータ「富岳」で学習したモデルや、NTTの小さくて軽いモデルなど、国産の開発が進んでいます。

次の言葉を、当てる。たったそれだけの練習が、ここまで来ました。「理解する」とは、どういうことか。揺さぶられているのは、その定義のほうです。