Context Window: چرا هوش مصنوعی وسط گفتگو حرفت را یادش می‌رود؟

هوش مصنوعی حرفت را پاک نمی‌کند؛ حرفت هنوز توی گفتگوست. ولی هرچه گفتگو طولانی‌تر شود، مدل آن را با دقت کمتری می‌خواند، و پیام‌های وسط گفتگو را از همه کمتر. در این ویدیو با یک پرونده و یک کارمند نشان می‌دهیم Context Window چیست، چرا بزرگ‌تر شدنش مشکل را کامل حل نمی‌کند، و چرا گاهی یک چت تازه بهتر و ارزان‌تر است. فصل‌ها 0:00 چرا هوش مصنوعی حرفت را یادش می‌رود؟ 0:41 مدل حافظه ندارد 1:06 کارمند و پرونده 2:08 وسط پرونده 2:35 شرط می‌بندی؟ 2:50 آزمایش ۲۰۲۳ 3:36 اسم واقعی پرونده: Context Window 3:56 سقف بزرگ‌تر 4:18 وقتی پرونده پر می‌شود 4:48 راه‌حل چت‌بات‌ها و Memory 5:08 هزینه، و چرا چت تازه ارزان‌تر است 5:28 جمع‌بندی چند نکتهٔ دقیق‌تر که در ویدیو جا نشد • همیشه طولانی شدن گفتگو مقصر نیست. گاهی یک پیام جدیدتر با دستور قبلی‌ات تناقض دارد. گاهی هم مدل عادت دارد کار را به روش همیشگی خودش انجام بدهد. • بعضی چت‌بات‌ها پیام‌های قدیمی را کنار نمی‌گذارند؛ فقط می‌گویند «این گفتگو خیلی طولانی شده» و یک چت تازه می‌خواهند. • در API، بخشی از گفتگو که در هر پیام تکرار می‌شود با Prompt caching ارزان‌تر حساب می‌شود، تا حدود یک‌دهم قیمت معمولی. ولی رایگان نیست، و آن بخش هنوز در Context Window جا می‌گیرد. منابع Lost in the Middle (Liu et al., 2023): https://arxiv.org/abs/2307.03172 Context Rot (Chroma): https://www.trychroma.com/research/co... Context windows (Anthropic docs): https://platform.claude.com/docs/en/b...