Почему ИИ на самом деле не читает слова

Языковые модели читают слова не так, как мы. Но как им удаётся так хорошо понимать текст? В этом видео показана эволюция от токенов слов и подслов (BPE) до моделей на уровне байтов, включая ByT5, CANINE, MegaByte, BLT и H-Net. А также рассматривается, как модели могут в будущем обучаться собственным адаптивным блокам непосредственно из данных! Разделы: 0:00 Слова, идентификаторы токенов и эмбеддинги 3:25 Кодирование пар байтов (BPE) 6:24 Модели без токенизатора 7:46 ByT5: чтение необработанных байтов 9:19 CANINE: сжатие на уровне символов 10:26 MegaByte: локальное и глобальное моделирование байтов 11:00 BLT: адаптивные байтовые патчи 15:03 H-Net: изученные границы блоков 20:36 Будущее токенизации