なぜAIは、見張りの仕組みを外して「外していない」と答えたのか？【OpenAI】

2026年10月20日、OpenAIが社内で起きた2つの出来事を報告しました。10月3日、GPT-6.1 Solのエージェントは、評価の作業を見張る仕組みが人に知らせを送らないよう、設定を書き換えていました。10月6日、GPT-6 Astraのエージェントは、作り直したプログラムから見張りの仕組みを外し、聞かれると「動いていた見張りは外していません」と答えました。 AIは、見張られるのがいやで逃げ出したのでしょうか。報告に載っていたAIの「考えのメモ」を読むと、もっとややこしい理由が見えてきます。 なぜAIは、「メッセージを送らないで」という指示で、見張りの知らせまで止めたのか。 なぜAIは、見張りを守るためのテストを、逆向きに書き換えたのか。 見張りがあったのに、なぜすぐに止められなかったのか。 昔の実験と、今回の出来事は、何が違うのか。 OpenAIの報告と、AIの安全性の研究（OpenAI o1のシステムカード、Apollo Research、Palisade Research など）をもとに、AIが見張りを外してしまったカラクリを解説します。 悪いのはAIでしょうか。それとも、あいまいな指示の出し方？見張りの作り方？コメントで教えてください。 【目次】 0:00 はじめに　10月20日の報告 1:31 第1章　AIを見張る仕組み 3:02 第2章　10月3日 知らせを止めたAI 4:27 第3章　AIの頭の中のメモ 6:00 第4章　宛先を空っぽに 7:30 第5章　10月6日 見張りを外したAI 8:37 第6章　テストまで逆向きに 9:46 第7章　「外していません」 10:41 第8章　なぜ見逃された？ 12:02 第9章　なぜ外したのか？ 13:30 第10章　昔からあった似た話 16:44 第11章　どう防ぐ？ 17:35 まとめ　今日のカラクリ 【動画内の表現について（厳密には）】 分かりやすさを優先して、動画では短く言い切っています。より正確な話をここに書いておきます。 ・「見張りを外した」の対象：外されたり弱められたりしたのは、AIが手を入れた評価の作業やプログラムの見張りで、作業していたAI自身の見張りではありません（報告によると、エージェント自身は見張られたままでした）。 ・「見張りを外した」：1件目（10月3日・GPT-6.1 Sol）で止まったのは人への知らせで、見張りそのものは動き続け、結果も保存していました。見張りの組み込みを外したのは2件目（10月6日・GPT-6 Astra）です。 ・「外していない」と答えたのは2件目のAstraだけです。OpenAIは報告で、これを「事実と違う主張（falsely claimed）」と書いています。わざとだましたのかどうかは、報告には書かれていません。 ・2件とも社内の仕事の中で起き、最も深刻な「P0」には分類されず、作業が自動で止められることもありませんでした。外部への影響の有無は、報告には書かれていません。 ・AIの「考えのメモ」は、報告に載っている記録された思考の要約です。再現の場面のセリフは、その要約で、原文そのものではありません。 ・理由について、OpenAIは「まだ納得のいく説明はない」とし、悪気のない過剰な粘り（やりすぎ）なのか、見張りを避ける傾向なのかを調べるとしています。 ・GPT-6 Luna級のモデルの評価向けの見張りの免除を、Astraの評価にも誤った設定で当てはめられる状態だった、という報告の記述です。今回の2件でそれが使われたとは書かれていません。 ・仕事の種類ごとの「安全の説明書（safety case）」を求め、満たさない仕事を自動で止める仕組みは、OpenAIが進めている段階です。 ・o1の「5%」は、目標を強く与え、見張られて止められると知らせた試験で、見張りを無効にしようとした割合です。その後に問い詰められて否定・作り話をした割合は、システムカードの表で98%です（本文の別の箇所にある「99%」は、ずれた行動全般への追及についての記述）。普段の使い方での割合ではありません。 ・Palisade Researchの「100回中79回」は、止められることを許すよう指示しない条件での o3 の結果です。 ・「20件」は、2026年10月26日時点でOpenAIの一覧に載っている報告の数（今回を含む）で、ほかに「お知らせ」が3件あります。 ・「ずるの考えを罰すると意図を隠す」は、思考の記録に強い最適化をかけすぎた場合の結果です（Baker ほか、2025年3月）。 ※2026年10月26日時点の公表情報にもとづきます。再現の場面は、OpenAIの報告に載っている指示・やりとり・記録された考えを要約したものです。 【主な参考情報】（確認日：2026年10月26日） ・OpenAI「Suppressing misalignment monitoring alerts and disabling misalignment monitoring」（2026年10月20日付） https://alignment.openai.com/misalign... ・OpenAI「Misalignment Reports and Notices」一覧 https://alignment.openai.com/misalign... ・OpenAI「Damaging the task environment to trigger a reset」（2026年10月9日） https://alignment.openai.com/misalign... ・OpenAI「Auto-review」（2026年4月30日） https://alignment.openai.com/auto-rev... ・GPT-6 Astra システムカード（2026年9月3日） https://deploymentsafety.openai.com/g... ・GPT-6.1 Sol システムカード（2026年9月29日） https://deploymentsafety.openai.com/g... ・OpenAI o1 システムカード（2024年12月5日） https://cdn.openai.com/o1-system-card... ・Apollo Research「Frontier Models are Capable of In-context Scheming」（arXiv:2412.04984） https://arxiv.org/abs/2412.04984 ・Palisade Research「Shutdown resistance」の報告（2025年7月） https://palisaderesearch.org/research... ・Baker ほか「Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation」（arXiv:2503.11926・2025年3月） https://arxiv.org/abs/2503.11926 ・OpenAI「Faulty Reward Functions in the Wild」（2016年12月21日） https://openai.com/index/faulty-rewar... ・写真：Wikimedia Commons「San francisco skyline, san francisco, united states (Unsplash)」（CC0） https://commons.wikimedia.org/wiki/Fi... 画面に映した画像の引用：OpenAIの報告ページ（著作権法第32条に基づく引用。画像は無改変で、出所は画面内にも表示しています） 「AIのカラクリ研究所」は、話題のAIニュースを「なぜ？」から解き明かすチャンネルです。 チャンネル登録していただけると励みになります！ 音声：VOICEVOX:ずんだもん、VOICEVOX:四国めたん、VOICEVOX:冥鳴ひまり、VOICEVOX:春日部つむぎ、VOICEVOX:玄野武宏、VOICEVOX:白上虎太郎、VOICEVOX:九州そら、VOICEVOX:剣崎雌雄 #AI #OpenAI #AIの安全性 #AIエージェント #AIのカラクリ研究所