Латентные рассуждения ИИ: Sep-Latent сжатие токенов

Применяя прогрессивную маску затухания внимания, которая избирательно подавляет внимание к промежуточным токенам рассуждений во время обучения, Sep-Latent заставляет трансформер сжимать многошаговые логические состояния в структурные разделительные якоря и выравнивает эти сжатые состояния с непрерывным потоком скрытых данных, спроецированным на многослойный перцептрон, посредством евклидовой самодистилляции всех слоев. В сочетании с динамическим выходным затвором LM-головы, который автономно завершает бесшумные вычисления в зависимости от сложности запроса, Sep-Latent удерживает скрытые векторы на многообразии словаря, сокращает объем памяти GPU для обучения более чем на 50% и достигает точности 56,8% на GSM8k-Aug, используя в среднем всего 5,4 токена; превосходя как явный CoT (при почти 5-кратном сжатии токенов), так и современные неявные базовые модели по точности, скорости и символической устойчивости. Все права принадлежат авторам: Sep-Latent: Разделительные токены как естественные якоря сжатия для неявного рассуждения Иньлун Сюй1,2, Цзяньфэн Хуан2, Чжэндун Чжоу2, Минцзе Линь2 Фуюй Лю2, Дан Оу2, Хунся Сюй1*, Цзянь У1* из 1 Колледж компьютерных наук и технологий, Чжэцзянский университет, Ханчжоу, Китай 2 Alibaba Group, Ханчжоу, Китай arXiv:2610.22924 #aiexplained #discoverai #airesearch