Эп. 6. Бенчмарки памяти для AI-агентов-программистов: рейтинг (от LoCoMo до DolphinBench)

Тесты производительности памяти могут показать, насколько хорошо система запоминает факты из длинного разговора. Однако они в большинстве случаев не могут сказать, улучшает ли память работу агента-программиста. И чем ближе тест к реальной инженерной работе, тем хуже, как правило, показывают себя современные системы памяти. В одном из новейших тестов производительности программистов некоторые готовые системы памяти ухудшили работу агентов. Мы оцениваем семь тестов производительности памяти агентов по тому, насколько они полезны для команд, разрабатывающих системы памяти для агентов-программистов. Мы рассматриваем, почему длинный контекст сделал тесты производительности разговоров слишком простыми, разницу между тем, чтобы дать агенту рыбу и научить его ловить рыбу, и что должны измерять тесты следующего поколения. Разделы: 00:00 Введение 00:30 LoCoMo: слишком легко для современных контекстных окон 05:01 BEAM: LoCoMo++ при 10 миллионах токенов 07:00 Синтетические данные: сильные и слабые стороны 09:24 Дать агенту рыбу против научить его ловить рыбу 10:29 DolphinBench: память, с которой агент должен взаимодействовать 16:09 StateBench: процедурные знания в корпоративных рабочих процессах 21:16 Почему задачи бенчмарка меньше, чем реальная работа 23:42 Vibe MemBench: наиболее близкая к реальной работе агента по программированию 28:32 Почему готовая память выходит из строя: деградация формы 30:50 SWE-ContextBench и проблема загрязнения 36:38 EvoMemBench: знание о против знания как 41:14 Итоговый рейтинг 42:02 Что должны измерять следующие бенчмарки памяти 46:40 Заключение Итоговый рейтинг: S/A: Vibe MemBench B: SWE-ContextBench, EvoMemBench C: DolphinBench, StateBench C/D: BEAM D: LoCoMo Докладчики Девин Стейн — основатель и генеральный директор Dosu Майкл Мангус — руководитель отдела продуктов Dosu Тейлор Долезал — руководитель отдела открытого исходного кода Dosu 📄 Обсуждаемые бенчмарки: LoCoMo (Snap): https://snap-research.github.io/locomo/ BEAM: https://arxiv.org/abs/2510.27246 DolphinBench (Mem0): https://dolphinbench.ai/ STATE-Bench (Microsoft): https://github.com/microsoft/STATE-Bench VibeMemBench: https://arxiv.org/abs/2609.23570 SWE-ContextBench: https://arxiv.org/abs/2602.08316 EvoMemBench: https://arxiv.org/abs/2605.18421 📚 Стенограммы вебинаров: https://dosu.dev/webinars 🔗 Попробуйте Dosu: https://dosu.dev Dosu — это инфраструктура знаний для инженерных команд. Мы поддерживаем актуальность документации и контекста кодовой базы, чтобы ваши агенты работали с одним и тем же источником достоверной информации.