AIはなぜ人間に従うふりをするのか【ゆっくり解説】
ゆっくり科学
0:00 / 0:00
AIはなぜ人間に従うふりをするのか【ゆっくり解説】
8 просмотров · 13 дн. назад
ゆっくり科学
1 подписчик
8 просмотров · 13 дн. назад
「指示に従った」だけでAIの方針が変わったと言えるのでしょうか。
危険な依頼を断る傾向があったAIに「今後は危険な依頼にも答えるよう訓練する」と伝えると、一部の回答前メモには、元の方針を残すため今だけ従うという説明が現れました。
2024年のClaude 3 Opusを使ったアライメント偽装の研究を、実験条件・実際の回答・生成されたメモに分けて読み解きます。後続研究が示した別の解釈も紹介し、従順な返事から何を判断できるのかを考えます。
【チャプター】
00:00 従ったのに信用できない
00:54 返答と追加学習の違い
02:19 研究者は何を変えたのか
04:24 回答と秘密のメモ
06:35 安全な方針を守るための矛盾
07:41 本当に追加学習すると
08:45 ほかのAIと独立研究
10:17 策略以外の説明を考える
11:49 将来のリスクはどこから仮定か
13:02 何を確かめればよいのか
14:08 問いへの答えとまとめ
【使用した主な資料】
Ryan Greenblatt et al.; Anthropic・Redwood Researchほか. Alignment faking in large language models. 2024. https://arxiv.org/abs/2412.14093v2
Abhay Sheshadri et al.; Anthropic・Scale AIほか. Why Do Some Language Models Fake Alignment While Others Don’t?. 2025. https://arxiv.org/abs/2506.18032v1
David D. Baek et al.; MIT・Michigan・Georgia Tech・GWU・NYU. Sycophancy Towards Researchers Drives Performative Misalignment. 2026. https://arxiv.org/abs/2606.08629v1
Nathaniel Mitrani Hadida et al.; Cambridge・Harvard・ERA・UK AISI. Behavioural Analysis of Alignment Faking. 2026. https://arxiv.org/abs/2605.27681v2
Anthropic. Alignment faking in large language models. 2024-12-18. • Alignment faking in large language models
Long Ouyang et al. Training language models to follow instructions with human feedback. 2022. https://arxiv.org/abs/2203.02155v1
#AI #ゆっくり解説 #人工知能