MemT-1.0: на пути к эволюции с нативной памятью (октябрь 2026)

Название: MemT-1.0: На пути к эволюции, основанной на использовании памяти (октябрь 2026 г.) Ссылка: http://arxiv.org/abs/2610.26825v2 Дата: октябрь 2026 г. Краткое описание: Представлена ​​MemT-1.0, семейство базовых моделей, интегрирующих постоянную память фиксированного размера в вычисления трансформеров. Архитектура использует стабильные обновления Gated DeltaNet-2 на уровне токенов и Mixture-of-Storage для расширения емкости памяти, обучение которых осуществляется посредством непрерывного предварительного и последующего обучения. В тестах на использование памяти модели в среднем превосходят протестированные базовые модели с параметрической памятью, в целом сохраняя возможности базовой архитектуры. MemT-1.0 также уменьшает задержку вывода с длительной историей и постоянное хранение по сравнению с кэшированием полного контекста, а эксперименты показывают, что собственная память может сохранять процедурный опыт для управления агентами кодирования. Основные темы: Базовые модели, работающие непосредственно с памятью Постоянная рекуррентная память Вентилируемая DeltaNet-2 и стабильные обновления на уровне токенов Смешанное хранение (MoS) Продолжение предварительного обучения и дистилляция знаний Оценка памяти и общих возможностей Задержка вывода и эффективность хранения Агенты кодирования, управляемые опытом Главы: 00:00 - Введение в MemT-1.0 01:13 - Ограничения масштабирования кэша ключ-значение 02:04 - Блоки собственной памяти 02:31 - Локальная и гиперпамять 03:38 - Стабилизация рекуррентной памяти 05:54 - Масштабирование емкости памяти 08:17 - Обучение MemT-1.0 11:13 - Выполнение с окном 12:36 - Выигрыш в задержке и хранении 14:50 - Сохранение возможностей модели 15:25 - Программирование агентов с памятью 17:54 - Результаты и ограничения Источники видеоматериалов: Михаил Нилов: https://www.pexels.com/video/coworker... TREEDEO.ST: https://www.pexels.com/video/man-hold... Проект RDNE Stock: https://www.pexels.com/video/a-sound-... Проект RDNE Stock: https://www.pexels.com/video/male-doc... Якуб Зердзицкий: https://www.pexels.com/video/develope... Закадровый текст, сгенерированный ИИ. Видеоматериалы, помеченные как иллюстративные, служат контекстом, а не доказательством результатов исследования.