COLM 2026 в Сан-Франциско | Токенизатор до токенизатора: как одна строка регулярного выражения мо...

Большинство команд выбирают токенизатор и больше к нему не возвращаются. Клара Мейстер показывает, почему это ошибка, особенно для кода и для языков с ограниченными ресурсами. Запись сделана в прямом эфире на конференции COLM 2026, конференции по языковому моделированию. Клара Мейстер (постдок, EPFL) присоединяется к Екатерине Новиковой, чтобы рассказать о TokEval, своей новой библиотеке для измерения производительности токенизаторов непосредственно на тексте, и о том, что показывают контролируемые эксперименты по предварительному обучению о том, когда токенизация действительно имеет значение. Выделяются два важных вывода. Для кода решающим фактором является не алгоритм токенизации, а предварительный токенизатор — «токенизатор перед токенизатором», длинное регулярное выражение, определяющее, где токены никогда не должны пересекаться. Изменение одного пробельного условия привело к значительному скачку в результатах Python pass@1 для разных начальных значений. Для многоязычных моделей замена токенизатора практически не влияет на английский язык, но вызывает широкий разброс в производительности для языков с меньшим объемом обучающих данных. Практический вывод: вы можете адаптировать свой токенизатор для языков с ограниченными ресурсами, не нанося существенного вреда английскому языку. В этом эпизоде: Что такое внутренние метрики токенизатора и как их запустить на собственном токенизаторе Почему обработка пробелов в предварительном токенизаторе так важна для Python Почему английский язык устойчив практически к любому токенизатору Как параллельный корпус (FLORES+) и количество бит на предложение делают межъязыковое сравнение справедливым Что меняется для языков без стандартных границ слов Конкретные выводы для всех, кто обучает или выбирает токенизатор Статья - TokEval: A Tokenizer Evaluation Suite, https://arxiv.org/pdf/2608.18062 Главы 00:00 Прямая трансляция с COLM 2026 00:13 Знакомство с Кларой Мейстер и TokEval: измерение токенизатора без обучения модели 01:05 Второй вопрос: где токенизация на самом деле вредит? 01:30 «Токенизатор перед токенизатором» — что делают пре-токенизаторы 02:30 Одно регулярное выражение, большой скачок в Python pass@1 03:30 Многоязычные модели: разные языки учитывают разные свойства токенизатора 04:15 Пре-токенизатор, алгоритм, смешение данных — что было удалено 04:45 Почему английский язык почти не замечает ваш токенизатор 05:20 Языки с ограниченными ресурсами: где замена токенизатора меняет все 06:32 Языки без границ слов 07:17 Ключевые выводы для кода и многоязычных программ LLM 08:16 Что дальше: понимание эффекта ограниченных ресурсов Women in AI Research (WiAIR) представляет беседы с женщинами-исследователями, формирующими область ИИ — их работа, их открытия и вопросы, которые они все еще задают. #NLProc #LLM #WiAIR #WiAIRpodcast #COLM2026