【強化学習】何も知らないAIが東方風神録をクリアするまで｜AIゆっくり霊夢が見守る24時間LIVE 【#AI風神録】#13

何も知らないAIに、東方風神録をゼロから学習させています。最初はでたらめにボタンを押していたAIが、被弾とゲームオーバーを何千回も繰り返しながら、少しずつ弾幕を避けられるようになっていく様子を24時間ライブで配信中。横では「AIゆっくり霊夢」が実況しています。 2026年9月21日、学習をゼロからやり直しました。 報酬の仕組みを大きく作り直したためです（詳しくは下の「これまでの変更」）。 ■ 見どころ ・敵の真下に入れるようになるか（自機を針タイプに変えたので、狙わないと当たりません） ・1面ボスを倒して、初めて2面へ進む日 ・パワーを集められるようになるか ■ 画面の見方 ・左：挑戦回数・累計学習時間・成長曲線（1回ごとに得た報酬）・AIが今押しているボタン 　（数字は直近10秒で押していた割合、赤はボム発動） ・左「AIが見ているもの」：AIに渡している情報の一覧。弾から伸びる線は行き先、 　敵の下の黄色い帯は残り体力、自機の輪が二重ならボムが撃てる合図です ・右下：報酬のしくみと、今回の挑戦の点数の内訳 ・字幕：AIゆっくり霊夢の実況 ■ AIが見ているもの 画面の映像は一度も見ていません。ゲームの中の数字だけを受け取っています。 ・弾：ひとつひとつの位置・速さ・加速度・当たり判定の大きさ（近い64発） 　　　遠くの弾は、画面を升目に区切った密度と向きだけ ・敵：位置・大きさ・動く向き・残りの体力 ・アイテム、レーザー、自分の残機・パワー・壁までの距離・ボムが撃てるか 見えていないもの：画面の絵そのもの、自分が撃った弾、どの敵が撃った弾か ■ 学習のしくみ（強化学習／PPO） 点が増えるのは3つ、減るのは2つ。それだけです。 ＋ 敵を削る ＋ 敵を倒しきる ＋ 面をクリアする － 被弾する － ボムを使う ・生きているだけでは点が入りません。 以前は入れていましたが、隅でじっとしているのが 　一番得になってしまったのでやめました ・被弾の重さはいつでも同じです。序盤だから安い、といったことはありません ・スコアは点になりません。目指しているのはクリアであって、高得点ではないからです ・ゲームオーバーのたびに数秒止まり、その回のプレイから学習して再開します ■Q＆A ・倍速・複窓と学習の効率化は多々ありますが、リアルタイムですべてを皆さんと追いたいので行っていません。（わがままではありません） ・AIに教師を与えることで飛躍的に上達しますが行いません。ロマンです ・報酬設計でがちがちに縛れば簡単かもしれませんが行いません。ロマンです （ロマンだと思ってはいますが、状況や皆さんの考えによっては加速させる手段を講じようと思います） ■ AIゆっくり霊夢 ・被弾やボム、自己ベストなどに合わせて、PC内で動く小さなAIがセリフを考えて喋ります ・ときどき成長の様子や東方風神録の話をします ・AIが考えたセリフなので、たまに少しズレたことを言います ・定型文で喋る時と自分で考えて話す時があります ・立ち絵：そる様　Twitter 　  / remonntteumai   　　　　　　　　　niconico 　http://www.nicovideo.jp/user/92502344 　　　　　　　　　Pixiv 　　 https://www.pixiv.net/users/54516520 ■ コメントについて コメントでの指摘が、実際に学習のルール変更につながっています。 ・「敵を倒す動機が薄いのでは」→ 敵の体力を削ると点が入る仕組みを追加（9月19日） ・「敵の体力を見せてほしい」→ AIが敵の残り体力を見られるように（9月20日） ・「左端に行くのは誘導ショットのせいでは」→ 自機を針タイプに変更（9月21日） etc... 気づいたことがあれば書いていってください。全部読んでいます。 ■ これからの予定（変わることがあります） 【学習】 ・作り直した報酬の効果を確かめます ・自分の撃った弾をAIに見せられるか（今は技術的にできていません） ・被弾後の無敵時間を見せられるか（ボムの3割が無敵中に無駄撃ちされています） 【AIゆっくり霊夢】 ・答えられる話題を増やします ・場面に合わないセリフを減らしていきます ・もっと視聴者の方と自由に雑談できるようにしたいです（願望）（熱望）（切望） ■ 配信について ・24時間続けて配信し、10時間ごとに新しい配信枠に切り替えています（アーカイブを残すため） ・難易度 Normal／霊夢B（前方集中） ・調整のため、ときどき一時停止画面になることがあります ■ ガイドラインについて この配信は東方Projectの二次創作（ファン活動）です。上海アリス幻樂団様とは関係ありません。 東方Projectの二次創作ガイドライン：https://touhou-project.news/guideline/ ガイドラインに従い、原作ゲームのエンディングは配信しません（自動的に画面を遷移させます）。 使用ゲーム：東方風神録 ～ Mountain of Faith.（Steam版） 音声：AquesTalk X（Twitter）を開設しました https://x.com/SharuStudio #東方風神録 #強化学習 #ゆっくり実況