【ゆっくり解説】AIはなぜ、会話が長くなると忘れるのか｜100万トークン読めるのに最初の頼みが消える理由

AIと長く話していると、最初に「敬語はやめて、タメ口で」と頼んだのに、いつのまにか敬語に戻っている。決めたはずの主人公の名前まで変わっている。100万トークン読めると宣伝されているのに、なぜでしょうか。この動画はその理由を、論文と開発元の原文で確かめます。 答えの出発点は、AIは会話を何も覚えていない、ということです。返事を書くたびに、会話の全文（と見えないシステムの指示）を頭から読み直しています。それでも見落とすのは、注意（アテンション）が全部の語に「合計1」を配る仕組みだからです。長くなるほど1語あたりの取り分は薄まり、資料の真ん中は見落とされやすくなります（Uの字）。 位置の数え方（RoPE と、その引き延ばし）、学習した長さの外が苦手な理由、針の試験（Needle in a Haystack）の落とし穴と言葉が一致しない針（NoLiMa）、会話の途中で指示がずれる研究、小出しに頼むと平均39%落ちる研究、KVキャッシュの重さ（1語あたり約320KB）、昔のAI（RNN・LSTM）の忘れ方と Mamba との取り引き、そして ChatGPT の「記憶」の正体までを扱います。最後に、長い会話との付き合い方を4つまとめます。 ■ 主な出典 ・Liu ほか「Lost in the Middle」(2023) https://arxiv.org/abs/2307.03172 ／ Salvatore ほか (2025) https://arxiv.org/abs/2510.10276 ・Vaswani ほか「Attention Is All You Need」(2017) https://arxiv.org/abs/1706.03762 ・Xiao ほか「Attention Sinks」(2023) https://arxiv.org/abs/2309.17453 ／ Miller「Attention Is Off By One」 https://www.evanmiller.org/attention-... ・Nakanishi「Scalable-Softmax」(2025) https://arxiv.org/abs/2501.19399 ／ Qiu ほか「Gated Attention」(2025) https://arxiv.org/abs/2505.06708 ・Su ほか「RoFormer（RoPE）」(2021) https://arxiv.org/abs/2104.09864 ／ Press ほか「ALiBi」(2021) https://arxiv.org/abs/2108.12409 ・Chen ほか「Position Interpolation」(2023) https://arxiv.org/abs/2306.15595 ／ Peng ほか「YaRN」(2023) https://arxiv.org/abs/2309.00071 ・Anil ほか (2022) https://arxiv.org/abs/2207.04901 ／ An ほか「STRING」(2024) https://arxiv.org/abs/2410.18745 ・Llama 3 技術報告 (2024) https://arxiv.org/abs/2407.21783 ／ 設定 https://huggingface.co/NousResearch/M... ・Kamradt「Needle In A Haystack」 https://github.com/gkamradt/LLMTest_N... ／ Gemini 1.5 (2024) https://arxiv.org/abs/2403.05530 ・Hsieh ほか「RULER」(2024) https://arxiv.org/abs/2404.06654 ／ Modarressi ほか「NoLiMa」(2025) https://arxiv.org/abs/2502.05167 ・Chroma「Context Rot」(2025) https://research.trychroma.com/contex... ・Li ほか (2024) https://arxiv.org/abs/2402.10962 ／ Dongre ほか (2025) https://arxiv.org/abs/2510.07777 ・Laban ほか「LLMs Get Lost In Multi-Turn Conversation」(2025) https://arxiv.org/abs/2505.06120 ／ Liu ほか (2026) https://arxiv.org/abs/2602.07338 ・Dao ほか「FlashAttention」(2022) https://arxiv.org/abs/2205.14135 ／ Ainslie ほか「GQA」(2023) https://arxiv.org/abs/2305.13245 ／ Hugging Face「KV Cache」 https://huggingface.co/blog/kv-cache ・Bahdanau ほか (2014) https://arxiv.org/abs/1409.0473 ／ Sutskever ほか (2014) https://arxiv.org/abs/1409.3215 ・Wikipedia「Vanishing gradient problem」「Long short-term memory」「Serial-position effect」「Attention economy」 ・Gu・Dao「Mamba」(2023) https://arxiv.org/abs/2312.00752 ／ Jelassi ほか「Repeat After Me」(2024) https://arxiv.org/abs/2402.01032 ・OpenAI「Conversation state」 https://platform.openai.com/docs/guid... ／「Prompt caching」 https://platform.openai.com/docs/guid... ・OpenAI「Memory FAQ」 https://help.openai.com/en/articles/8... ／ Rehberger (2025) https://embracethered.com/blog/posts/... ・Anthropic「Context windows」 https://docs.claude.com/en/docs/build... ／「Long context tips」 https://docs.claude.com/en/docs/build... ・Anthropic「Effective context engineering」 https://www.anthropic.com/engineering... ／「Prompt caching」 https://docs.claude.com/en/docs/build... ■ 注意 チャット画面・代筆屋・付箋・机と明かり・箱などの絵は、仕組みを説明するためのたとえや模式図です。グラフの線や棒の形は模式で、数字はそれぞれの論文・資料の条件でのものです。どのAIサービスでも同じになるとは限りません。 ■ 章 0:00 はじめに（タメ口の頼みと消えた名前） 2:18 第1章 AIは何も覚えていない 5:59 第2章 答えを渡したのに下がった 8:38 第3章 付箋は1枚しかない 11:38 第4章 長いほど薄まる 14:47 第5章 最初の語に溜まる注意 18:44 第6章 番地を書く時計の針 23:07 第7章 長い文を読んだ経験が少ない 25:27 第8章 針の試験の落とし穴 31:01 第9章 会話で指示がずれる 34:32 第10章 窓を無限にできない理由 36:52 第11章 昔のAIは逆に忘れた 40:23 第12章 記憶機能の正体と使い方 ─── 音声合成: AquesTalk (株式会社アクエスト) https://www.a-quest.com/ BGM: OpenTracks（旧DOVA-SYNDROME）「プラネタリウムガーデン」「さみしいおばけと東京の月」「YOIYAMI-宵闇-」「Serene」「Fireworks」 この動画は東方Projectの二次創作です。