第70話・準備中

AIの評価

「人間を超えた」の読み方

試験はすぐ満点になる。問題のもれ、物差しの寿命、新しい測り方。

この動画は準備中です地図で見る

この動画で話すこと

新しいAIが出るたびに「試験で人間を超えた」という見出しが並びます。でも、その試験は1年ほどで使えなくなることがあります。満点に近づく試験、問題のもれ、試験そのものの間違い、「数字が目標になると、良い物差しではなくなる」という法則、非公開の問題や投票、仕事の長さで測る新しい方法、資金をめぐる問題、日本語の試験までを5分で。

出典・参考

  • Wang et al., SuperGLUE (2019)
  • Zhang et al., arXiv:2405.00332 (2024)
  • Northcutt et al., arXiv:2103.14749 (2021)
  • METR, arXiv:2503.14499 (2025)

つながっている動画