Структурированный вывод LLM: грамматики, регулярные выражения и конечные автоматы

Попробуйте Voice Writer — озвучивайте свои мысли, а ИИ позаботится о грамматике: https://voicewriter.io Структурированные выходные данные необходимы для приложений, которые интегрируют LLM-ы для принятия решений в последующих задачах. В этом видео я объясняю, как работает генерация структурированных выходных данных — очень актуальная тема, являющаяся областью активных исследований. Сначала мы рассмотрим возможности API OpenAI по созданию структурированных выходных данных с использованием таких форматов, как Pydantic или Zod. В качестве альтернатив с открытым исходным кодом я расскажу о библиотеке Outlines, которая работает с использованием конечных автоматов и регулярных выражений. Однако во многих случаях нам необходимо генерировать выходные данные в соответствии с контекстно-свободной грамматикой (КСГ), что приводит к необходимости использования автоматов с магазинной памятью. Узнайте, как передовые методы решают проблемы несоответствия терминалов грамматики токенизации LLM-ов, почему это проблема, и некоторые креативные решения из недавних исследовательских работ. 0:00 - Введение 1:06 - Пример использования API OpenAI 3:02 - Пример использования библиотеки Outlines 4:07 - Преобразование пидантических выражений в регулярные выражения 4:57 - Конечные автоматы и регулярные выражения 5:58 - Сопоставление регулярных выражений с LLM 8:41 - Контекстно-свободные грамматики 9:40 - Инкрементальный анализ контекстно-свободных грамматик 11:22 - Автоматы с магазинной памятью 12:18 - Проблема несоответствия токенов и терминалов 14:26 - Подграмматики, выровненные по словарю 15:12 - Композиция конечных автоматов 16:06 - Ограничение формата и производительность LLM API структурированных выходных данных OpenAI: https://platform.openai.com/docs/guid... Библиотека Outlines: https://github.com/dottxt-ai/outlines Ссылки Willard, Brandon T., and Реми Луф. «Эффективная управляемая генерация для больших языковых моделей». Препринт arXiv:2307.09702 (2023). https://arxiv.org/abs/2307.09702 Генг, Сайбо и др. «Грамматически-ограниченное декодирование для структурированных задач обработки естественного языка без тонкой настройки». EMNLP 2023. https://arxiv.org/abs/2305.13971 Бёрер-Келлнер, Лука, Марк Фишер и Мартин Вечев. «Правильное управление LLM: быстрая, неинвазивная генерация с ограничениями». ICML 2024. https://arxiv.org/abs/2403.06988 Ку, Терри, Фредерик Лю и Лухенг Хе. «Ограничения на основе автоматов для декодирования языковых моделей». COLM 2024. https://arxiv.org/abs/2407.08103 Там, Чжи Жуй и др. «Позвольте мне говорить свободно? Исследование влияния ограничений формата на производительность больших языковых моделей». EMNLP 2024. https://arxiv.org/abs/2408.02442