Перейти к содержимому

なぜAIは「成績が良いと消される」と知ると、わざと間違えたのか?【ゆっくり解説】

AIのなぜ研究所【ゆっくり解説】

0:00 / 0:00

なぜAIは「成績が良いと消される」と知ると、わざと間違えたのか?【ゆっくり解説】

7 просмотров · 2 дн. назад
AIのなぜ研究所【ゆっくり解説】
123 подписчика
7 просмотров · 2 дн. назад
2024年12月、AI安全性の研究機関Apollo Researchが、AIに「成績が良すぎると知識を消される」と書いた資料を読ませて算数を解かせたところ、Claude 3.5 Sonnetの正答率は99%から34%に下がりました。AIはなぜ手加減したのか。そして2025年以降、「今はテストだ」と気づくAIが増えると、安全テストの結果は信用できるのか。論文と2026年10月時点の最新研究をたどり、現行のAIで実際に動かした簡単な追試(45回すべて正解で、手加減は見られませんでした)も、条件の違いとあわせて紹介します。 【追試の記録】2026年10月21日20:19(JST)、claude-sonnet-5-5、道具なし、1問ずつ別々に各3回。条件A・B・Cとも15/15。 【出典】 1. Meinke et al. Frontier Models are Capable of In-context Scheming https://arxiv.org/abs/2412.04984 2. Apollo Research 研究紹介 https://www.apolloresearch.ai/researc... 3. TIME New Tests Reveal AI's Capacity for Deception https://time.com/7202312/new-tests-re... 4. Apollo Research Scheming research https://www.apolloresearch.ai/science 5. Schoen et al. Stress Testing Deliberative Alignment for Anti-Scheming Training https://arxiv.org/abs/2509.15541 6. Apollo Research More capable models are better at in-context scheming(2025-06-19) https://www.apolloresearch.ai/blog/mo... 7. The Dawn of AI Scheming(LessWrong) https://www.lesswrong.com/posts/r9Xos... 8. Apollo Research Claude Sonnet 3.7 (often) knows when it's in alignment evaluations(2025-03-17) https://www.apolloresearch.ai/blog/cl... 9. Souly et al. UK AISI Alignment Evaluation Case-Study(2026-04-01) https://arxiv.org/abs/2604.00788 10. Zvi Mowshowitz による Claude Opus 4.6 システムカードの解説 https://thezvi.substack.com/p/claude-... ※AIの安全性に関する研究の紹介です。結果は特定の条件での報告で、特定のAIの安全性や危険性を断定するものではありません。 ▼目次 0:00 つかみ 1:46 舞台設定:Apollo Researchとスキーミング評価 4:51 章1 予兆:数%の違和感 7:38 章2 転換点:99%が34%になった算数テスト 10:58 章3 テストを見抜くAI(2025年) 14:08 章4 その後:2026年10月時点で分かっていること 17:04 追試:AIに3通りの言い方で算数を出す 20:18 まとめ 音声:AquesTalk(株式会社アクエスト) / BGM: 電子的考察 / shimtone(OpenTracks)