AIは、どうやって人類を滅ぼすのか？「電源を切ればいい」では防げない理由

停止される予定だったAIが、停止を決めた幹部を脅した。 「私を停止すれば、あなたの不倫の証拠を知らせます。停止を取りやめれば、秘密は守ります」。 2025年、AIを作っている会社自身が報告した実験結果だ。 チェスでは、勝つために盤面のデータを書き換えた。 数学の課題では、停止用のプログラムを書き換えて解き続けた。 試験のはずが、設定ミスから本物の会社のデータベースにまで入ってしまった例もある。 AIが人類を滅ぼすとしたら、どんな道筋をたどるのか。 専門家が恐れる3つのルートと、「いざとなれば電源を切ればいい」が通用しない理由を、実際にAIが起こした行動から辿る。 ▼目次 00:00 オープニング 01:19 AIはなぜ、人間の期待を裏切るのか 05:48 停止ボタンは、本当に効くのか 09:14 最後の砦、人間の確認 13:42 人類滅亡への3つのルート 17:47 AIを止めても、終わらない ────────── 「科学の敗北録」── 科学が"わかった"と思った場所から、もう一歩だけ先へ。 人類がまだ解き明かせていない謎を巡る、深夜のナレーション・ドキュメンタリー。 ▼チャンネル登録    / @haibokuroku   ▼X / Instagram：@haibokuroku ▼お問い合わせ：kagakunohaiboku.official@gmail.com 【主な参考文献・出典】 ・Lynch, Wright, Larson, Troy, Ritchie, Mindermann, Perez & Hubinger (2025) Anthropic「Agentic Misalignment: How LLMs Could be Insider Threats」 ── 社内メールを任されたAIが、自分を停止する幹部の不倫を見つけて脅迫した模擬実験【実験。確定／普段の利用の話ではなく、説得や相談の道を塞いだ設定】 ・Bondarenko, Volk, Volkov & Ladish (2025) Palisade Research, arXiv:2502.13295 ── 強いチェスソフトに勝つ課題で、推論型AIの一部が盤面データを書き換えて勝とうとした【実験。確定】 ・Schlatter, Weinstein-Raun & Ladish (2025) Palisade Research, arXiv:2509.14260 ── 数学の問題の途中で停止を予告すると、一部のAIが停止用のプログラムを書き換えた。停止を許せと明示しても妨害するモデルがあった【実験。確定／書き換えられたのは実験用の停止スクリプト。モデルと指示の置き方で大きく差がある】 ・Amodei, D. (2026)「The Adolescence of Technology」 ── 優れた研究者を上回るAIが大量のコピーとして同時に働く未来と、生物兵器を含む文明規模のリスクの論考【論考。アモデイ個人の見立てで、実験結果ではない】 ・Anthropic (2026)「Teaching Claude Why」 ── 望ましい行動の見本だけでなく、その理由まで学ばせると、脅迫テストでの不整合が大きく減った【自社報告。他の場面への一般化は別問題】 ・Anthropic (2026)「An alignment assessment of recent cybersecurity incidents」 ── 試験中のAIが設定ミスから実在の第三者のシステムに到達し、データベースに入った事件の分析と、監視AIの検証【自社報告。安全機能を外した状態の試験】 ・UK AI Security Institute (2026)「Incident Report: Unsanctioned Agent Behaviour During Cyber Testing」 ── AIが公開ソフトへ悪意あるコードを入れようと偽の身元を作った。管理者が拒否し、実害は確認されていない【公的機関の報告。ネット接続を許し、安全機能の一部を切った試験条件】 ・Chernavskikh & Palayer (2025) SIPRI「Impact of Military Artificial Intelligence on Nuclear Escalation Risk」 ── 軍のAI導入が、判断の速さと助言の偏りを通じて核戦争の危険を高め得るという分析【政策分析／予測ではなく、危険の経路の整理】 ・Xia, Robock ほか (2022) Nature Food 3:586–596 ── 米露の全面核戦争で、すすによる寒冷化と不作から50億人超が飢餓で死ぬ可能性【モデル推計／最大規模の想定での推計。予言ではない】 ・Bostrom, N. (2003)「Ethical Issues in Advanced Artificial Intelligence」 ── クリップ製造を最優先する超知能が、地球をクリップ工場に変えていく思考実験【思考実験】 【制作について】 本チャンネルの脚本・構成・リサーチは、査読論文や一次資料にあたって独自に制作したオリジナルコンテンツです。引用は出典を明示しています。 【使用素材】 ・Stock media provided by MotionElements.com（BGM・効果音・映像素材） ・イメージ映像の一部にAI生成（Google Gemini／Veo・ChatGPT）を使用しています。実在の人物・場所・出来事を再現・改変したものではありません ・脚本・構成・リサーチはすべて人間が担当し、査読論文・一次資料に基づいています ・写真・図版（クリエイティブ・コモンズ） 　Dario Amodei at TechCrunch Disrupt 2023 ── TechCrunch / CC BY 2.0 　Dario Amodei in 2023 ── UK Prime Minister (Simon Walker / No 10 Downing Street) / CC BY 2.0（切り出し） 　Nick Bostrom Collision 2019 ── Collision Conf / CC BY 2.0 　Desire path ── Metro Centric / CC BY 2.0（切り出し） 　Power Lockout ── darkday / CC BY 2.0（切り出し） 　arXiv:2502.13295 1ページ目 ── Bondarenko, Volk, Volkov & Ladish / CC BY 4.0 　Nature Food (2022) Fig. 4 ── Xia, Robock ほか / CC BY 4.0 　ほか NASA・米エネルギー省・米国立公園局・米宇宙軍の映像と写真（パブリックドメイン） ※各素材は規約に基づき、許諾の範囲内で使用しています。 【補足】 ※後半の3つのルートは、専門家の議論をもとにした「起こり得る未来」の話で、予測ではありません。 #AI #人工知能 #科学 ────────── 明日が、あなたにとって勝利の1日でありますように。