COLM 2026 в Сан-Франциско. В ДНК нет слов. Как языковой модели читать её?

В отличие от английского языка, в ДНК нет пробелов, знаков препинания и естественных границ слов — поэтому каждая языковая модель ДНК должна сама решать, что считать «словом». Большинство заимствуют BPE из NLP и позволяют частоте определять значение. Но наиболее часто встречающиеся последовательности не обязательно имеют биологическое значение. В этом выпуске программы «Женщины в исследованиях ИИ» Нан Хуан, аспирантка Калифорнийского университета в Сан-Диего, представляет EvoLen — токенизатор, который использует межвидовые эволюционные сигналы для определения того, какие сегменты ДНК должны стать токенами. Архитектура модели и целевая функция обучения остаются неизменными, меняется только токенизатор, и этого уже достаточно, чтобы изменить результаты: На 27,4% лучше сохраняется целостность мотивов факторов транскрипции До 14,4% сильнее выравнивание с эволюционным ограничением (phyloP) Лучше, чем стандартный BPE, по 40 из 56 последующих сравнений, с наиболее очевидными улучшениями в задачах регулирования и межвидовых задачах Нан также откровенно говорит о том, где это не помогает, и почему эволюционную токенизацию не следует рассматривать как универсально оптимальную для каждого геномного сигнала. Затем мы обсуждаем, что исследователи в области обработки естественного языка могут извлечь из этого: чем отличаются токенизаторы ДНК от токенизаторов естественного языка, должна ли эффективность быть главной целью токенизатора, почему ДНК может стать еще одной модальностью в мультимодальных и мировых моделях, и как улучшенная межвидовая производительность может в конечном итоге помочь переходу разработки лекарств от исследований на мышах к исследованиям на людях. Если вы работаете над токенизацией, индуктивными искажениями в рамках LLM или искусственным интеллектом для науки, то это краткий, но содержательный обзор проектного решения, которое большинство из нас считает уже решенной проблемой.