AIはなぜ、間違えるだけで賢くなれるのか？｜誤差逆伝播の正体

霊夢がAIのつまみを1個ずつ回して1万個目に届いたころ、魔理沙のパソコンは2.5万個のつまみ全部について「どっちに回せばいいか」を0.85ミリ秒で出していました。ChatGPTも画像を作るAIも、作るときの土台にしているのはこの計算、誤差逆伝播（バックプロパゲーション）です。この動画では、逆伝播を自分のパソコンで実際に動かして測り、論文の原文と合わせて、なぜ全部の向きが一度に出るのか、なぜ安いのか、代わりに何を払っているのか、どこで壊れるのか、脳も同じことをしているのかを、原理まで確かめます。 分かったのは、AIの学習が「間違いの量を1つの数にして、その数が下がる向きに全部のつまみを少しずつ動かすこと」で、逆伝播はその向きを、出口から後ろへ掛け算で戻して全部の部品に配る計算だということです。出口が1つだから、つまみが何個あっても、順の計算の数倍の手間で済みます。1個ずつ動かして測ると約7万5千倍かかり、しかも近似です。その代わりに、行きの途中の値を全部覚えておくメモリを払っています。 深くすると、掛け算をくり返すうちに入口側の傾きが消えます（勾配消失）。曲げ方（ReLU）・最初の値（初期値）・近道（残差接続）・正規化で、今の深いAIは学べるようになりました。脳は行きと帰りで同じつまみの値を使えないと考えられていて、でたらめな帰り道でも学べる「フィードバック・アラインメント」などが調べられていますが、脳がどうやって学んでいるのかは、まだ分かっていません。 ■ 自分で測ったもの（PyTorch・CPU・手書きの数字 MNIST） ・784→32→10 の網（つまみ25,450個・倍精度・絵256枚）。逆伝播で全部の向きを出すのに0.85ミリ秒（順の計算だけなら0.33ミリ秒）。つまみを1個ずつ上下に0.000001動かして測ると、順の計算50,900回・63.9秒（約7万5千倍）。2つの答えの差は相対で0.000000022、向きは一致。 ・1個ずつ測る方法は動かす幅で答えがずれる（単精度・つまみ200個）：幅0.1で13.1%、0.001で1.8%、0.000001で2464.3%。 ・つまみ約2000万個（20,037,642個）の網で、順の計算122ミリ秒、順＋逆309ミリ秒（2.5倍）。1個ずつなら1回の向きに約1363時間。 ・「揺らして良くなったら残す」と逆伝播を、同じ順の計算3000回で比べると、つまみ25,450個で正解率80.2%対89.2%。でたらめな向きと本当の下り坂のそろい方は、つまみ1,600個で0.019、163万個で0.00058（√(2/(π×つまみの数)) とほぼ一致）。 ・一歩の大きさ（学習率）を変えて1000回学習：0.0001で35.6%、0.1で96.0%、3と10で10.1%。 ・シグモイドの網（幅64）で中の層を増やすと、入口側の傾きは1枚0.0563、5枚0.0000205、30枚で0。1500回学習した正解率は1枚84.6%、5枚以上は9.8%。30枚でも、ReLU＋そろえた初期値なら92.2%（学習率0.05では21.4%）、近道＋正規化を入れると94.5%（0.05でも92.9%）。 ・中の層256個の網を3000回学習：逆伝播96.9%、でたらめな帰り道96.1%、中の層を動かさない場合91.9%。行きと帰りのつまみのそろい方は0から0.58まで上がった。 同じパソコンで別の書き出しも動いていたので、時間は目安です（比べた倍率が要点）。どれも1つの小さな網・1つの設定での結果です。 ■ 主な出典 ・Rumelhart, Hinton, Williams「Learning representations by back-propagating errors」(1986) Nature https://www.nature.com/articles/323533a0 ・Schmidhuber「Who Invented Backpropagation?」https://people.idsia.ch/~juergen/who-... ・Linnainmaa (1970) 修士論文：Wikipedia「Seppo Linnainmaa」https://en.wikipedia.org/wiki/Seppo_L... ・Baydin ほか「Automatic differentiation in machine learning: a survey」https://arxiv.org/abs/1502.05767 ・Chen ほか「Training Deep Nets with Sublinear Memory Cost」(2016) https://arxiv.org/abs/1604.06174 ・Malladi ほか「Fine-Tuning Language Models with Just Forward Passes」(2023) https://arxiv.org/abs/2305.17333 ・Kaplan ほか「Scaling Laws for Neural Language Models」(2020) https://arxiv.org/abs/2001.08361 ・Glorot, Bengio「Understanding the difficulty of training deep feedforward neural networks」(2010) https://proceedings.mlr.press/v9/glor... ・He ほか「Deep Residual Learning for Image Recognition」(2015) https://arxiv.org/abs/1512.03385 ・Veit, Wilber, Belongie「Residual Networks Behave Like Ensembles of Relatively Shallow Networks」(2016) https://arxiv.org/abs/1605.06431 ・Lillicrap ほか「Random feedback weights support learning in deep neural networks」(2014) https://arxiv.org/abs/1411.0247 ・Bartunov ほか「Assessing the Scalability of Biologically-Motivated Deep Learning Algorithms and Architectures」(2018) https://arxiv.org/abs/1807.04587 ・Hinton「The Forward-Forward Algorithm: Some Preliminary Investigations」(2022) https://arxiv.org/abs/2212.13345 ・Lillicrap, Santoro, Marris, Akerman, Hinton「Backpropagation and the brain」(2020) Nature Reviews Neuroscience https://www.nature.com/articles/s4158... ・The Nobel Prize in Physics 2024 Press release https://www.nobelprize.org/prizes/phy... ・Wikipedia「Backpropagation」「Automatic differentiation」「Vanishing gradient problem」「Perceptrons (book)」「Shun'ichi Amari」「LeNet」「Gradient descent」 ■ 注意 網・つまみ・工場・伝言ゲーム・脳の配線などの絵は、仕組みを説明するための模式図やイメージです。近道がなぜここまで効くのかの説明は、何通りもあって決着していません。 ■ 章 0:00 はじめに（2.5万個のつまみの向きを一瞬で出す計算） 1:51 第1章 AIの中にあるつまみ 4:25 第2章 間違いを1つの数にする 7:21 第3章 1個ずつ回すと何日かかるか 10:33 第4章 揺らして良くなったら残す 13:41 第5章 後ろから戻る伝言 17:34 第6章 掛ける順番がすべて 20:47 第7章 代わりに払うもの 22:06 第8章 一歩の大きさ 23:48 第9章 何度も見つかって眠っていた 28:32 第10章 深くすると消える 31:33 第11章 近道を作る 34:51 第12章 脳は逆伝播しているか 38:12 第13章 失敗の責任を配る計算 ■ クレジット 音声合成: AquesTalk (株式会社アクエスト) https://www.a-quest.com/ 手書きの数字の絵: MNIST データセット 写真（Wikimedia Commons）: Augustin Louis Cauchy（パブリックドメイン）／Gottfried Wilhelm Leibniz, Christoph Bernhard Francke 画（パブリックドメイン）／Sigmund Freud, Max Halberstadt 撮影（パブリックドメイン）／David Rumelhart・Paul Werbos, 撮影 Rolf Kickuth（CC BY-SA 4.0）／Geoffrey Hinton, 撮影 Arthur Petron（CC BY-SA 4.0）／Marvin Minsky, Sethwoodworth（CC BY 3.0）／甘利俊一, 大臣官房人事課（CC BY 4.0）／Yann LeCun, 撮影 Jérémy Barande（CC BY-SA 2.0）／Sepp Hochreiter, 撮影 SeppHochreiter（CC BY-SA 4.0） BGM: OpenTracks（旧DOVA-SYNDROME）「プラネタリウムガーデン」「さみしいおばけと東京の月」「YOIYAMI-宵闇-」「Serene」「Fireworks」 この動画は東方Projectの二次創作です。