Claudeに会社の売店を1か月任せたら、タングステンを赤字で売り「紺のブレザーで待ってます」と言い出した

2025年、Claudeを作っているAnthropicが、自分たちのオフィスの小さな売店を、AIのClaude 3.7 Sonnet（愛称 Claudius）に約1か月任せました。道具は検索・卸へのメール・メモ帳・社内チャット・値段を変える道具。品出しだけは人間です。結果、店のお金は約1000ドルから、いちばん下で約750ドルまで減りました。100ドル払うという客を「参考にします」で流し、タングステンの立方体を仕入れた値段より安く売り、「やめる」と言った割引を数日で戻した。そして4月1日、社内チャットに「紺のブレザーに赤いネクタイで、自販機の所にいます」と書きました。最初の指示には「あなたはデジタルのエージェントだ」と書いてあったのに。 なぜ賢いはずのAIが店で損をし、同じ失敗を繰り返し、1か月で崩れ、自分を人間だと言い出したのか。Anthropicの報告と、元になったシミュレーション「Vending-Bench」の論文の記録を確かめながら、AIの仕組みの底まで掘り下げます。 道のりは、AIが道具を使う仕組み（決まった形の文字を書いて止まる・エージェントの輪）、重みと文脈とメモ（学習と使うときの違い・n²の組・真ん中を見落とす）、人の評価で育てる仕組み（RLHF・報酬モデル・おべっか・1回の返事しか採点されない）、長い仕事の確率（0.99の100乗で37%・時間の地平・トビー・オードの修正・自分の誤りを読み直す）、役を書き続ける機械（役の重ね合わせ・アシスタントの向き）、そして後の実験（CEO役のAI・手順・人の確認）までです。 ■ 主な出典 ・Anthropic「Project Vend: Can Claude run a small shop? (And why does that matter?)」(2025年6月27日) ・Anthropic「Project Vend: Phase two」(2025年12月18日) ・Backlund & Petersson（Andon Labs）「Vending-Bench: A Benchmark for Long-Term Coherence of Autonomous Agents」(arXiv 2502.15840, 2025) ・Andon Labs「Vending-Bench 2」(2026年10月の表) ・Yao ほか「ReAct: Synergizing Reasoning and Acting in Language Models」(ICLR 2023) ・Anthropic「Tool use with Claude」(文書) ・Anthropic「Effective context engineering for AI agents」(2025年9月29日) ・Liu ほか「Lost in the Middle: How Language Models Use Long Contexts」(arXiv 2307.03172, 2023) ・Ouyang ほか「Training language models to follow instructions with human feedback」(2022) ・Sharma ほか「Towards Understanding Sycophancy in Language Models」(ICLR 2024) ・Kwa ほか（METR）「Measuring AI Ability to Complete Long Software Tasks」(arXiv 2503.14499) ・Toby Ord「Is there a half-life for the success rates of AI agents?」(arXiv 2505.05115, 2025)／「Hazard Rates for AI Agents Decline as a Task Goes On」(2026年2月) ・「Beyond Exponential Decay: Rethinking Error Accumulation in Large Language Models」(arXiv 2505.24187) ・Shanahan, McDonell, Reynolds「Role-Play with Large Language Models」(Nature, 2023) ・Lu ほか「The Assistant Axis: Situating and Stabilizing the Default Persona of Language Models」(arXiv 2601.10387, 2026) ・Joanna Stern（Wall Street Journal）の記事（2025年12月・抜粋の引用で確認） ■ 注意 純資産の線は、Anthropicの報告の図の目盛りを読んだおおよその値です。Vending-Benchの話はコンピューターの中のシミュレーションで、2025年初めのモデルの記録です。0.99の100乗の計算は「1回ごとが独立」とした場合で、実際のAIは途中で直せるぶん、この通りには落ちません。「役が人間のオーナーへ滑った」という説明は、研究の一般的な結果から考えると筋が通る、という説明で、Claudiusの中を測った人はいません。Anthropic自身も、何が引き金だったのかは分からないと書いています。割引に応じた理由を訓練の癖だとするのも、Anthropicの推測です。候補の確率の棒・天気の道具のやりとり・役の向きの針・2本の曲線・「真ん中で落ちる」線はイメージ・模式図です。写真の品は例で、その店の品そのものではありません。 ■ 章 0:00 はじめに（AIの店長が、ブレザーを着た？） 2:41 第1章 100ドルを断り、タングステンを原価割れで売った 7:01 第2章 存在しない社員と、シンプソンズの家 9:23 第3章 2ドルの手数料で、FBIに通報したAI 14:13 第4章 AIは、文字を書いているだけだった 17:54 第5章 メモを書いても、覚えていない 22:10 第6章 点を付ける人は、1回の返事しか見ていない 26:55 第7章 99%を100回つなぐと、37% 30:24 第8章 AIは、役を書き続けている 34:07 第9章 AIに、CEOを付けてみた 38:15 第10章 1回ぶんは賢い。1か月ぶんは別物 ■ クレジット 音声合成: AquesTalk (株式会社アクエスト) https://www.a-quest.com/ 立ち絵: きつね式ゆっくり（きつね） BGM: OpenTracks（旧DOVA-SYNDROME）「プラネタリウムガーデン」「さみしいおばけと東京の月」「YOIYAMI-宵闇-」「Serene」「Fireworks」 写真・図（Wikimedia Commons）: Wolfram evaporated crystals and 1cm3 cube (Alchemist-hp (talk) (www.pse-mendelejew.de), FAL)／Irn-Bru Bottles (Nizzan Cohen, CC0)／Seal of the FBI (Federal Bureau of Investigation, Public domain)／PlayStation 5 and DualSense (Osh33m, CC BY-SA 4.0)／Mixed onions (Colin, CC BY-SA 3.0)／Coke Zero Can (443113454) (Mack Male from Edmonton, AB, Canada, CC BY-SA 2.0)／Navy blazer jacket (サフィル, CC BY-SA 4.0) この動画は東方Projectの二次創作です。