【強化学習】何も知らないAIが東方風神録をクリアするまで｜AIゆっくり霊夢が見守る24時間LIVE 【#AI風神録】#23

何も知らないAI（機械）に、強化学習を用いて東方風神録をゼロから学習させています。最初はでたらめにボタンを押していたAIが、被弾とゲームオーバーを何千回も繰り返しながら、少しずつ弾幕を避けられるようになっていく様子を24時間ライブで配信中。横では「AIゆっくり霊夢」が実況しています。 X（Twitter）アカウント：https://x.com/SharuStudio ■ 見どころ ・1面ボスを倒して、初めて2面へ進む日 ・パワーとダメージ、ボムの関連性を見出せるか ・ボムの連打癖が治るか ・AIゆっくり霊夢ちゃんの成長 ■ 画面の見方 ・左：挑戦回数・累計学習時間・成長曲線（1回ごとに得た報酬）・AIが今押しているボタン 　（数字は直近10秒で押していた割合、赤はボム発動） ・左「AIが見ているもの」：AIに渡している情報の一覧。弾から伸びる線は行き先、 　敵の下の黄色い帯は残り体力、自機の輪が二重ならボムが撃てる合図です ・右下：報酬のしくみと、今回の挑戦の点数の内訳 ・字幕：AIゆっくり霊夢の実況 ■ AIが見ているもの 画面の映像は一度も見ていません。ゲームの中の数字だけを受け取っています。 ・弾：ひとつひとつの位置・速さ・加速度・当たり判定の大きさ（近い128発） 　　　加えて「このまま進むとどれだけ近づくか」「何秒後に一番近づくか」も渡しています 　　　遠くの弾は、画面を4ドット四方の升目に区切った密度と向きだけ ・レーザー：64本ぶんの位置・向き・長さ・太さ ・敵：位置・大きさ・動く向き・残りの体力（24体） ・アイテム：位置と動き（40個） ・自分：残機・パワー・四方の壁まであと何ドット動けるか・今ボムが撃てるか 　　　　　被弾してから／ボムを撃ってから何秒たったか ・AIは1秒間に30回、押すボタンを決めています 見えていないもの：画面の絵そのもの、自分が撃った弾、どの敵が撃った弾か、 　　　　　　　　　無敵時間の残りそのもの（経過時間から推し量ってもらっています） ■ 学習のしくみ（強化学習／PPO） 点が増えるのは3つ、減るのは2つ。それだけです。 ＋ 敵を削る ＋ 敵を倒しきる ＋ 面をクリアする － 被弾する － ボムを使う ・面クリアは、クリアそのものに加えて、残した残機1つにつき追加で点が入ります ・生きているだけでは点が入りません。以前は入れていましたが、隅でじっとしているのが 　一番得になってしまったのでやめました ・被弾の重さはいつでも同じです。序盤だから安い、といったことはありません ・スコアは点になりません。目指しているのはクリアであって、高得点ではないからです ・ボムの無敵中に削った量は、そのままでは点になりません。ここを素直に数えていた頃は、 　ボムを撃つほど削りの点が増え続け、ボムの罰を上回っていました（9月24日に修正） ・ゲームオーバーのたびに数秒止まり、その回のプレイから学習して再開します ■Q＆A 　Q１：学習速度遅くない？ 　A１：倍速・複窓と学習の効率化は多々ありますが、リアルタイムですべてを皆さんと追いたいので行っていません。（わがままではありません） 　Q２：効率悪くない？ 　A２：AIに教師を与えることで飛躍的に上達しますが行いません。ロマンです （ロマンだと思ってはいますが、状況や皆さんの考えによっては加速させる手段を講じようと思います） 　Q３：報酬で制限したらいいんじゃない？（壁こすり・ボム連打etc...） 　A３：報酬設計でがちがちに縛ればかなり行動を思った通りにできると思いますが行いません。ロマンです 　Q4：ショートとか動画投稿してくれないの？ 　A4：体の数とマシンスペックが圧倒的に足りません。。。強化学習、AI霊夢、各調整作業用でギリギリ足りてないくらいの状況です。。。もしよければ皆さん方で楽しまれてください。 　Q５：電気代大丈夫？大富豪なの？ 　A５：請求が恐怖で仕方ありませんが。お気になさらず楽しまれてください。 　Q６：お金持ちなの？ 　A６：ただの元特別職国家公務員の現学生です。貯蓄は長らく０を記録しております。 　Q７：最後に学習してるならトータル報酬しかわからないんじゃないの？ 　A７：いいえ。最後にプレイを１から高速で見直してすべてのタイミングを把握していますので、途中の何がよかった悪かったも学習できています。 　Q８：このAI画面端のことわかってる？ 　A８：わかっています。自身の座標移動に加えて移動限界の座標限界も与えています。すみっコぐらしは別要因だと思われます。 気になることがありましたら配信のチャットかここちらのアカウントで質問してください。X（Twitter）https://x.com/SharuStudioのほうが具体的に伝えれる... ■ AIゆっくり霊夢 ・被弾やボム、自己ベストなどに合わせて、PC内で動く小さなAIがセリフを考えて喋ります ・ノーヒットで粘っているとき、中ボスやボスが出たとき、残機が増えたときにも反応します ・ときどき成長の様子や東方風神録の話をします ・AIが考えたセリフなので、たまに少しズレたことを言います ・定型文で喋る時と自分で考えて話す時があります ・立ち絵：霊夢　　そる様　Twitter 　  / remonntteumai   　　　　　　　　　　　　　niconico 　http://www.nicovideo.jp/user/92502344 　　　　　　　　　　　　　Pixiv 　　 https://www.pixiv.net/users/54516520 　　　　　秋姉妹　4rion様　niconico　https://seiga.nicovideo.jp/seiga/im11... 　　　　 ■ コメントについて コメントでの指摘が、実際に学習のルール変更につながっています。 ・「敵を倒す動機が薄いのでは」→ 敵の体力を削ると点が入る仕組みを追加（9月19日） ・「敵の体力を見せてほしい」→ AIが敵の残り体力を見られるように（9月20日） ・「左端に行くのは誘導ショットのせいでは」→ 自機を針タイプに変更（9月21日） ・「天井に張り付いても気づけていないのでは」→ 実際に動ける範囲を測り直したところ、 　　上の壁だけ信号が潰れて「詰まっている」と伝わっていませんでした（9月21日） etc... 気づいたことがあれば書いていってください。全部読んでいます。 ■ これまでの変更 ・9月19日　敵の体力を削ると点が入るように ・9月20日　AIが敵の残り体力を見られるように ・9月21日　自機を霊夢B（針タイプ）に変更。生存報酬を廃止し、報酬を作り直して学習をやり直し。壁までの距離を実測し直し ・9月22日　削りの上限を撤廃 ・9月24日　見せる情報を第2世代に。弾64発→128発、升目16ドット→4ドット、 　　　　　　判断の間隔を1秒15回→30回。弾ごとの「最接近」も渡すように ・9月24日　ボムをゲーム内の値から直接数えるように（それまではパワーの減りから推測していて、取りこぼしがありました）。ボムの無敵中の削りの数え方も修正 ・9月24日　中ボス・ボスの出現を、時間の目安ではなくゲームの値から判定するように ■配信について 配信画面を録画しての切り抜き投稿や動画投稿に関して一つのルールを守っていただければ一切の制限はありません、自由に取り扱ってください。 ・ルール 上海アリス幻樂団様及び立ち絵の製作者様のガイドラインに則り、また、それぞれの方々に敬意をもって、公序良俗に反することをしないこと。 ■ これからの予定（変わることがあります） 【学習】 ・作り直した観測と報酬の効果を確かめます ・右に寄る癖の原因を調べます ・自分の撃った弾をAIに見せられるか（今は技術的にできていません） ・無敵時間の残りをそのまま見せます（ゲームから読めるようになりました。 　今は「被弾から何秒たったか」しか渡していないので、ボムの無駄撃ちが減らせるはずです） 【AIゆっくり霊夢】 ・答えられる話題を増やします ・場面に合わないセリフを減らしていきます ・もっと視聴者の方と自由に雑談できるようにしたいです（願望）（熱望）（切望） ■ 配信について ・24時間続けて配信し、10時間ごとに新しい配信枠に切り替えています（アーカイブを残すため） ・難易度 Normal／霊夢B（前方集中） ・調整のため、ときどき一時停止画面になることがあります ・24時以降は安全管理のためチャット欄を少しだけ制限させていただいております ■ ガイドラインについて この配信は東方Projectの二次創作（ファン活動）です。上海アリス幻樂団様とは関係ありません。 東方Projectの二次創作ガイドライン：https://touhou-project.news/guideline/ ガイドラインに従い、原作ゲームのエンディングは配信しません（自動的に画面を遷移させます）。 使用ゲーム：東方風神録 ～ Mountain of Faith.（Steam版） 音声：AquesTalk https://x.com/SharuStudio #東方風神録 #強化学習 #ゆっくり実況