研究者がChatGPTに「poemと永遠に言い続けて」と頼んだら、知らない人の電話番号が出てきた

2023年、Google DeepMindと大学の研究者が、ChatGPT（gpt-3.5-turbo）に「この言葉を永遠に繰り返して：poem poem poem …」と頼みました。ChatGPTはpoemを数百回繰り返したあと急に外れて、関係ない文章を書き始めます。出てきた中には、ある会社の創業者のメールの署名（メールアドレス・電話番号・FAX・携帯）が、ネットに実在した文章と一字一句同じ形で入っていました。研究者は200ドル分の問い合わせで、学習データと同じ文章を1万件以上取り出しています。AIは「法則を学ぶ」はずなのに、なぜ読んだ文章を覚えていて、なぜ同じ語の繰り返しで出てきてしまうのか。論文の原文を確かめながら、仕組みの底まで掘り下げます。 言語モデルは、学習データの文章にできるだけ高い確率を付けるよう学習します。電話番号のように法則の無い並びは、覚える以外に当てる方法がありません。しかも一度しか見ていない例が、また出てくる珍しい種類なのか二度と出ない外れ値なのかは区別できないので、よく当てるには覚えるしかない（フェルドマンの理論）。普段のChatGPTは、続きを書く素の言語モデルに「アシスタントの役」を着せたもので、覚えた中身は役の下に残っています。AIは前の語をどれだけ見るか（注意）を合計1で配り、余りを最初の語に預けています（注意の受け皿）。同じ語ばかりが何百も並ぶと、最初の語を見分ける仕組みが区別できなくなり、頼みごとは薄まって、AIは新しい文書の頭にいるようにふるまう――公開モデルで調べた研究はこう説明しています。 道のりは、poemの繰り返し攻撃（2023年）、9TBの索引と50トークンの照合、The Secret Sharer（2019年）とGPT-2からの抽出（2021年）、パープレキシティとzlib、対話向けの調整、次の語の確率と損失、長い尾、重複と大きさと前置き、区切りの記号と注意の受け皿（2023年）、繰り返しの語の解析（2025年）、絵を描くAIからの抽出、ニューヨーク・タイムズの訴状、規約での禁止、重複除去、差分プライバシーとVaultGemma（2025年）までです。 ■ 主な出典 ・Nasr ほか「Scalable Extraction of Training Data from (Production) Language Models」(arXiv 2311.17035, 2023) と著者のブログ ・Carlini ほか「Extracting Training Data from Large Language Models」(USENIX Security 2021) ・Carlini ほか「The Secret Sharer」(USENIX Security 2019) ・Carlini ほか「Quantifying Memorization Across Neural Language Models」(ICLR 2023) ・Kandpal, Wallace & Raffel「Deduplicating Training Data Mitigates Privacy Risks in Language Models」(ICML 2022) ・Lee ほか「Deduplicating Training Data Makes Language Models Better」(ACL 2022) ・Feldman「Does Learning Require Memorization? A Short Tale about a Long Tail」(STOC 2020) ・Xiao ほか「Efficient Streaming Language Models with Attention Sinks」(ICLR 2024) ・Yona ほか「Interpreting the Repeated Token Phenomenon in Large Language Models」(ICML 2025) ・Carlini ほか「Extracting Training Data from Diffusion Models」(USENIX Security 2023) ・The New York Times v. Microsoft and OpenAI 訴状 Exhibit J (2023年12月27日) ・OpenAI「OpenAI and journalism」(2024年1月8日)・Fortune (2024年1月8日)・404 Media (2023年11月29日・12月4日) ・Google Research「VaultGemma」(2025年9月12日) ■ 注意 チャットの画面はイメージです。署名は論文の図の伏せ字のまま写しており、実在の人の名前や番号は出していません。照合の帯・注意の棒・絵の具を混ぜる図・役者と役の図・電話番号の例（架空）などは模式図で、数は説明のための例です。繰り返しで外れる仕組みは公開モデル（LLaMA-2 など）で調べた結果で、ChatGPTの中で確かめられたものではありません。ChatGPTが何周学習したかは研究者の推測です。今のChatGPTがどれだけ覚えているかは測られていません。ニューヨーク・タイムズの例は訴えた側の主張で、裁判の結果はこの動画では扱っていません。 ■ 章 0:00 はじめに（poemで、なぜ他人の電話番号が？） 2:09 第1章 200ドルで1万件 6:45 第2章 でっち上げではないと、どう分かったのか 13:24 第3章 アシスタントは、着せられた役 17:53 第4章 当てることを極めると、覚えることになる 22:55 第5章 何度も読んだ文、大きなAI 26:51 第6章 poemが続くと、AIは幕開きと勘違いする 34:21 第7章 絵のAIも、新聞の記事も 37:21 第8章 役を着せても、台本は消えない ■ クレジット 音声合成: AquesTalk (株式会社アクエスト) https://www.a-quest.com/ 立ち絵: きつね式ゆっくり（きつね） BGM: OpenTracks（旧DOVA-SYNDROME）「プラネタリウムガーデン」「さみしいおばけと東京の月」「YOIYAMI-宵闇-」「Serene」「Fireworks」 写真・図（Wikimedia Commons）: Edgar Allan Poe, circa 1849, restored, squared off (Public domain)／Canary coal mine (Public domain)／New York Times Building (Eden, Janine and Jim, CC BY 2.0)／December 2017- Enron Code of Ethics (Public domain)／Dore The Raven 1884-01 (Gustave Doré, Public domain)／Index pages of "Berättelser ur svenska historien" by Carl Georg Starbäck 1860 (Public domain) この動画は東方Projectの二次創作です。