Законы масштабирования с подсказками (ноябрь 2026 г.)

Название: Законы масштабирования с подсказками (ноябрь 2026 г.) Ссылка: http://arxiv.org/abs/2611.02270v1 Дата: ноябрь 2026 г. Краткое описание: Представляется метод подсказок для бенчмарков, который создает постепенно упрощаемые версии оценок, раскрывая части решений или смешивая логиты модели с логитами учителя. Совместные законы масштабирования по размеру модели и уровню подсказок используют эти измерения для прогнозирования точности в дальнейшем, когда небольшие модели получают оценки, близкие к нулю. В разных семействах моделей и бенчмарках прогнозы с подсказками существенно снижают ошибку, а также улучшают ранжирование моделей при меньшем количестве циклов оценки. Основные темы: Законы масштабирования на последующих этапах Подсказки для бенчмарков Масштабирование возможностей модели и вычислительных ресурсов Усечение, маскирование и смешивание логитов Точность прогнозирования Эффективное ранжирование моделей по выборкам Главы: 00:00 - Почему законы масштабирования не работают 01:47 - Проблема нулевого сигнала 02:40 - Подсказки для бенчмарков 04:06 - Усечение и маскирование 05:34 - Смешивание логитов учителя 07:30 - Исправление смешивания логитов 08:54 - Совместный закон масштабирования 10:03 - Контуры точности 11:14 - Прогнозирование GSM8K 12:52 - Прогнозирование для разных моделей 13:25 - Ранжирование слабых моделей 15:28 - Эффективная оценка модели 17:08 - Результаты и ограничения 18:03 - Намек на ограничения 19:10 - Различия в метриках оценки 20:30 - Определение возможностей модели Источники видеоматериалов: Павел Данилюк: https://www.pexels.com/video/a-tutor-... Рон Лах: https://www.pexels.com/video/man-teac... Pressmaster: https://www.pexels.com/video/man-solv... Закадровый текст, сгенерированный ИИ. Видеоматериалы, помеченные как иллюстративные, служат контекстом, а не доказательством утверждений источника.