Как EliseAI и Baseten внедряют модели с открытым исходным кодом в продакшн | Файнтюнинг, оценка и...

Руководители отделов разработки продуктов, инженерии и исследований компании EliseAI и Baseten встретились в нью-йоркском офисе EliseAI, чтобы обсудить, что на самом деле необходимо для масштабного внедрения моделей с открытым исходным кодом в производство. В ходе беседы обсуждались причины, по которым EliseAI делает ставку на открытый исходный код, как тонкая настройка улучшила задержку, качество моделей и стоимость, а также почему качественные оценки имеют решающее значение для понимания поведения моделей в реальном мире. Группа также затронула вопросы выбора моделей, производственной инфраструктуры и того, как эта работа способствует разработке более совершенных агентов ИИ, таких как Apollo. Темы включают: 00:00 Почему EliseAI и Baseten делают ставку на открытый исходный код 05:37 Тонкая настройка для улучшения задержки, качества и стоимости 16:04 Оценки и что нужно для измерения реального поведения в производственной среде 27:51 Выбор правильной модели с открытым исходным кодом для решения задачи 36:20 Что означает открытый исходный код для будущего агентов ИИ Открытые вакансии в EliseAI: https://eliseai.com/careers Узнайте больше о Baseten: https://www.baseten.co/