Помогает ли код LLM лучше справляться с математикой? Законы масштабирования для оценки синергии д...

Почему добавление кода в предварительное обучение улучшает математические способности модели, и почему некоторые смеси данных незаметно сдерживают производительность? Кимия Хамидие (аспирантка, MIT CSAIL) показывает, что показатель масштабирования данных сам по себе зависит от того, на чём вы обучаете модель, и превращает это в способ измерения синергии данных и выбора лучших смесей до того, как вы потратите вычислительные ресурсы. Запись сделана на её постерной презентации на COLM 2026 «Законы масштабирования, учитывающие предметную область, раскрывают синергию данных» (совместно с Лестером Макки и Дэвидом Альваресом-Мелисом). Мы обсуждаем: почему единый закон масштабирования не подходит для моделей, обученных на разных смесях данных; синергию первого порядка: какие области предварительного обучения ускоряют или замедляют прогресс на каких бенчмарках (математика помогает программированию, книги замедляют); синергию второго порядка: как взаимодействуют пары областей, моделируемые как «бонусные токены»; использование небольших запусков для прогнозирования и оптимизации смеси для целевого бенчмарка; где результаты сохраняются после предварительного обучения, и где обучение с подкреплением после обучения может их нарушить; кто решает, что считать «областью» Это часть нашей ежедневной серии обзоров основных результатов исследований с конференции COLM 2026 в Сан-Франциско. Статья: https://arxiv.org/abs/2607.11052 ВРЕМЕННЫЕ МЕТКИ 00:00 Возвращение с COLM 2026 — сегодняшний постер 00:27 Знакомьтесь, Кимия Хамидие (MIT) и ИИ, ориентированный на данные 00:35 Код + математика лучше, чем каждый из них по отдельности — но почему? 01:15 Один закон масштабирования для любой комбинации данных? Он не подходит 02:30 Карта синергии: математика помогает в программировании, книги замедляют его 03:28 Что на самом деле означают положительная и отрицательная синергия 04:00 Синергия второго порядка: когда две области создают «бонусные токены» 05:00 От оценок синергии к лучшей комбинации данных 05:34 Сохраняется ли что-нибудь из этого после обучения? 06:29 Кто решает, что такое «область»? 07:32 Что дальше: законы масштабирования для синтетических данных Женщины в исследованиях в области ИИ (WiAIR) — беседы с женщинами, занимающимися исследованиями в области ИИ, ведущая Екатерина Новикова. #LLM #ScalingLaws #COLM2026 #WiAIR #WiAIRpodcast