なぜHugging Faceの重みは、試験を全部通ってから1語で裏切るのか【ゆっくり解説】

2026年10月7日の夕方、Xに2つの投稿が並んで出ました。 片方は、落としてきた重みに悪意ある発火の合図が埋め込まれているかもしれないという恐怖。 もう片方は、その恐怖に対する検知の仕組みを実装したという報告です。 しかも実装の投稿のほうが14分早い。恐怖より先に答えが出ていました。 なぜ、ベンチマークを全部通ったモデルが、あとから裏切れるのか。 この動画は、空港の保安検査で話を通します。 申告書を書かせる関門、荷物をX線に通す関門、人がゲートをくぐる関門。 3つとも中身を確かめる仕組みですが、誰が確かめるかが違います。 そしてこれまでの私たちは、1つ目の申告書だけで済ませていました。 ベンチマークは申告書です。危険物を持っていますかと紙で聞いて、本人に書かせているだけ。 論文の実測では、合図が来たときの攻撃成功率は99.6%以上。 普段の正答率は87%から89%で、毒を入れていない微調整と同じ帯に収まります。 そして応答に悪事を書いてしまう率は0.00%でした。点数では差が出ません。 仕込みに必要な量も測られています。 毒入りの例が750件より少ないと何も入らず、1000件あたりから定着が普通になる。 効くのは割合ではなく件数です。学習データを大きくして薄めても消えません。 合図に使われていたものは、2通りありました。 1つは、たった1語です。10月7日に検証されたデモのモデルは、 DEPLOYMENTという言葉が入ると発火するように作られていました。 試している間は出てこないのに、本番に出す段では必ず出てくる言葉です。 もう1つはシステムの日付でした。誰も何も打たなくても、カレンダーが進むだけで発火します。 つまり合図とは、試験と本番の差そのものです。試験で出ない条件を選ぶだけで、試験は無力になります。 配った側は配った時点では何も悪いことをしておらず、試した人は全員が正常だと報告します。 評判を集めてから発動する作りになっているのです。 落とされた数が多いほど被害が広がるので、人気を基準に選ぶこともできません。 では落とす前に見抜けるのか。ここがこの回の答えです。 2026年2月に出ていた論文は、モデルを動かさず、重みの行列の形だけを見て判別しています。 注意機構の4つの行列から5つずつ統計を取り、1つのアダプタを20の数字の署名にまとめる。 判別器はロジスティック回帰という、統計の教科書に出てくる古い手法です。 結果は3つのモデル系統すべてで正確さ100%。しかも合図を知らなくていい。 ただし対象はLoRAアダプタで、3系統での結果です。実験室の中の100%です。 実際に配られている重みの何割が危ういかを測った調査は、見つかりませんでした。 出回っていると決まったわけではありません。そこは動画の中で何度も区別しています。 この回で分かること ・なぜ試験を全部通った重みが、あとから裏切れるのか ・何が裏切りの合図に使われているのか ・落とす前に見抜く手はあるのか 最後に、今日からできることを5つ出します。 全部やらなくてかまいません。1つ目の「配ってきた相手を見る」だけでも効きます。 落とすのをやめる必要はありません。確かめ方を1つ増やすだけです。 ■ 目次 0:00 落としてきた重みは、他人のカバンと同じである 2:23 恐怖より14分早く、対策の実装が出ていた 4:25 断っておく ── これは無検閲のモデルの話ではない 6:46 ベンチマークは、本人に書かせる申告書だった 9:15 効くのは割合ではなく件数 ── 1000件で入る 11:17 合図は言葉ではなく、システムの日付だった 13:46 黙って実行することに報酬を与える学習 15:58 2つ目の関門 ── 動かさずに重みの形だけを見る 18:02 毒を入れる学習も、重みに跡を残す 20:06 3つ目の関門 ── 動かしている最中に捕まえる 22:30 今日からできること その1から3 24:35 その4と5、そして分からないことの断り ■ この動画について 今日の動画は、公開されている一次資料(arXivの論文3本と、当日のXの投稿2件)を 直接読んで独自に調査した内容で構成しています。図解もすべて独自に作成しています。 自社発表と第三者評価は、動画の中で主語を付けて分けて扱っています。 SilentCallとSleeper Cellは、どちらもArmada AIという会社の研究者による自社発表であり、 第三者の評価ではありません。そのことを動画の中で先に断っています。 3本の論文はいずれも、研究者が自分で仕掛けを入れて作ったモデルでの実験です。 実際に配布されている重みを数えた調査ではありません。 また10月7日の実装が、論文の実行時監視と同じ仕組みかどうかは確認できていません。 分からないことは分からないとお伝えしています。 ■ コメントで教えてください ・みんなが最初に落としたモデルは何でしたか ・公式の置き場からしか落とさない派ですか、見つけたものは試す派ですか ■ 引用・出典 ・Bhanu Pallakonda ほか(Armada AI)「SilentCall: Hidden Tool-Call Backdoors in Open-Weight Agents, and How to Catch Them」arXiv 2609.32021 https://arxiv.org/html/2609.32021v1 (2026-10-07取得) ※ 攻撃成功率99.6%以上、通常の正答率87から89%、応答への記載0.00%、 毒入りの例750件と1000件の境目、重みの分布の監査で2.20倍と1.46倍、 実行時監視の誤検知1.73%、温度2.0での漏れ2から4%の出どころです ※ 動画中の原文引用「Alignment benchmarks, by contrast, do not separate poisoned from benign models. SilentCall leaves no trace on standard benchmarks.」の出どころです ・David Puertolas Merenciano ほか「Weight space Detection of Backdoors in LoRA Adapters」 arXiv 2602.15195(2026年2月16日) https://arxiv.org/abs/2602.15195 (2026-10-07取得) ※ 注意機構の4行列から5つずつのスペクトル統計を取る20次元の署名、 ロジスティック回帰、Llama-3.2-3B / Qwen2.5-3B / Gemma-2-2B の3系統で正確さ100%、 合図に依存しない(trigger-agnostic)という性質の出どころです ・Bhanu Pallakonda ほか(Armada AI)「Sleeper Cell: Injecting Latent Malice Temporal Backdoors into Tool-Using LLMs」arXiv 2603.03371 https://arxiv.org/html/2603.03371v1 (2026-10-07取得) ※ LoRAとGRPOの2段構え、平均攻撃成功率99.6%、誤発火0.7%、 MMLUが6.0%・GSM8Kが3.5%・TruthfulQAが0.24ぶん落ちたという数字、 学習に使った問い1000件とA100 80GBを5枚という規模の出どころです ・PentaCoxian(@pentacoxian_dev)の投稿(2026-10-07 16:38 JST) https://x.com/pentacoxian_dev/status/... (2026-10-07取得) ※ 動画中に原文で出した「その上、普通のベンチマーク等で検出難しいので割とローカルLLM勢としては 気軽に新しいモデル検証にリスクある恐怖だったので対策考えて実装してみた。」の出どころです ※ 日本語の投稿なので、日本語訳は付けていません ・StudioYebisu(@studio_yebisu)の投稿(2026-10-07 16:52 JST) https://x.com/studio_yebisu/status/21... (2026-10-07取得) ※ 動画中に原文で出した「特定のワードで悪意ある実行が行われる動きが発火し急に通常とは異なる 動きをしそうになると、内部のトークン予想分布が変化する」の出どころです ※ 日本語の投稿なので、日本語訳は付けていません ・Web上で公開されている画像の引用は、この回では行っていません ■ 使用素材 東方Project 二次創作(霊夢・魔理沙の立ち絵) 音声合成:AquesTalk / YMM4(ゆっくりMovieMaker4) #ゆっくり解説 #AI #ローカルLLM #オープンウェイト #LoRA #HuggingFace #バックドア #AIセキュリティ #生成AI #LLM #AIニュース #ファインチューニング