DSPy: Преобразование вызовов языковых моделей в интеллектуальные конвейеры // Омар Хаттаб // Подк...

Присоединяйтесь к нам на нашей первой очной конференции 25 июня, посвященной качеству ИИ: https://www.aiqualityconference.com/ Подкаст MLOps #194 с Омаром Хаттабом, аспирантом Стэнфордского университета, DSPy: Компиляция вызовов декларативных языковых моделей в самосовершенствующиеся конвейеры, представленный @WeightsBiases. // Аннотация Сообщество машинного обучения быстро изучает методы для подсказок языковым моделям (ЯМ) и для их объединения в конвейеры, решающие сложные задачи. К сожалению, существующие конвейеры ЯМ обычно реализуются с использованием жестко закодированных «шаблонов подсказок», то есть длинных строк, найденных методом проб и ошибок. Для более систематического подхода к разработке и оптимизации конвейеров ЯМ мы представляем DSPy, программную модель, которая абстрагирует конвейеры ЯМ в виде графов преобразования текста, то есть императивных вычислительных графов, где ЯМ вызываются через декларативные модули. Модули DSPy параметризованы, что означает, что они могут обучаться (путем создания и сбора демонстраций) применению комбинаций методов подсказок, тонкой настройки, расширения и рассуждений. Мы разработали компилятор, который оптимизирует любой конвейер DSPy для максимизации заданной метрики. Мы провели два тематических исследования, показав, что лаконичные программы DSPy могут выражать и оптимизировать сложные конвейеры языковых моделей, которые рассуждают о математических текстовых задачах, решают задачи многошагового поиска, отвечают на сложные вопросы и управляют циклами агентов. В течение нескольких минут после компиляции несколько строк кода DSPy позволяют GPT-3.5 и llama2-13b-chat самостоятельно создавать конвейеры, которые превосходят стандартные конвейеры с небольшим количеством примеров подсказок и конвейеры с демонстрациями, созданными экспертами. Более того, программы DSPy, скомпилированные для открытых и относительно небольших языковых моделей, таких как 770M-параметрическая T5 и llama2-13b-chat, конкурентоспособны по сравнению с подходами, которые полагаются на цепочки подсказок, написанные экспертами для проприетарного GPT-3.5. DSPy доступен в виде открытого исходного кода по адресу https://github.com/stanfordnlp/dspy // Биография Омар Хаттаб — аспирант Стэнфордского университета и стипендиат программы Apple PhD Scholar в области ИИ/машинного обучения. Он разрабатывает модели поиска, а также системы обработки естественного языка (NLP) на основе поиска, которые могут использовать большие текстовые коллекции для эффективного и прозрачного формирования обоснованных ответов. Омар является автором модели поиска ColBERT, которая сыграла центральную роль в развитии области нейронного поиска, а также автором нескольких производных от неё систем NLP, таких как ColBERT-QA и Baleen. Его недавние работы включают в себя фреймворк DSPy для решения сложных задач с помощью языковых моделей (LM) и моделей поиска (RM). // Доска объявлений о вакансиях MLOps https://mlops.pallet.xyz/jobs // Товары/Мерч MLOps https://mlops-community.myshopify.com/ // Ссылки по теме Веб-сайт: https://omarkhattab.com/ DSPy: https://github.com/stanfordnlp/dspy wandb.me/mlops_traces ⁠ -------------- ✌️Свяжитесь с нами✌️ ------------ Присоединяйтесь к нашему сообществу в Slack: https://go.mlops.community/slack Подписывайтесь на нас в Twitter: @mlopscommunity Зарегистрируйтесь на следующую встречу: https://go.mlops.community/register Смотрите все эпизоды, блоги, новостные рассылки и многое другое: https://mlops.community/ Свяжитесь с Деметриосом в LinkedIn:   / dpbrinkm   Свяжитесь с Омаром в Twitter:   / lateinteraction   Временные метки: [00:00] Любимый кофе Омара [00:26] Основные выводы [06:40] Реклама о весе и предвзятости [09:00] Технический опыт Омара [13:35] Эволюция RAG [16:33] Сложные поиски [21:32] Векторное кодирование для баз данных [23:50] BERT против новых моделей [28:00] Устойчивые конвейеры: принципы проектирования [33:37] Проблемы рабочих процессов MLOps [36:15] Руководство LLM для задач [37:40] Большие языковые модели: использование и Затраты [41:32] Анализ DSPy [51:05] Круглый стол по вопросам соответствия ИИ [55:40] Проблемы и решения в тонкой настройке [57:27] Проблемы тонкой настройки в машинном обучении [1:00:55] Универсальный GPT-3 в агентах [1:03:53] Фокус на ИИ: DSP и поиск [1:04:55] Планы коммерциализации [1:05:27] Заключение