Эпизод 12: Forge & Perform: настройка моделей ИИ в масштабе | Подкаст AWS for AI | Amazon Web Ser...

Присоединяйтесь к ведущему Хамзе Мими для глубокой беседы о настройке моделей с двумя гостями, рассматривающими этот вопрос с противоположных точек зрения. Оливер Грейзер, руководитель отдела данных и аналитики в Perform AI (ранее Parcel Perform) — сингапурской платформе для организации доставки, обрабатывающей миллиарды отправлений в более чем 160 странах, — расскажет, как его команда доработала Amazon Nova и добилась неожиданного результата: меньшая по размеру модель превзошла более крупные по точности, стоимости и скорости. К нему присоединится Каран Бхандаркар, главный менеджер по продуктам Forge и настройке моделей в AWS, который раскроет закономерности, антипаттерны и инструменты, которые он наблюдает у клиентов по всему миру. Вместе они разберут, почему настройка — это прежде всего экономический вопрос, а не технологический, и предложат практическую дорожную карту для команд, переходящих от простого запроса к настройке в производственной среде. В этом эпизоде ​​рассматриваются важные темы, в том числе: • Почему и когда следует настраивать систему, а когда — использовать готовые решения, RAG или создавать агентную среду • Создание надежной системы оценки и определение того, что выглядит «хорошо» • Разговор о ROI: стоимость тонкой настройки против стоимости вывода (и как поговорить с финансовым директором) • Проблема галлюцинаций и как тонкая настройка помогла ее решить • Объяснение предварительного обучения, обучения в середине процесса, тонкой настройки и обучения с подкреплением • Качество данных важнее количества — и как мало данных вам может действительно понадобиться • Катастрофическое забывание и роль универсального смешивания данных • LoRA / параметрически эффективная тонкая настройка и экономика оплаты по мере использования • Настройка с помощью SageMaker AI, Amazon Bedrock и Nova Forge Независимо от того, являетесь ли вы стартапом, крупным предприятием или организацией государственного сектора, работающей с большими объемами задач ИИ, этот эпизод предлагает бесценные рекомендации по созданию масштабируемых, экономически эффективных и готовых к производству решений ИИ в условиях быстро меняющегося современного ландшафта. ПЛАН: 00:00:00 : Введение 00:00:43 : Знакомьтесь, Оливер — Perform AI 00:03:34 : Знакомьтесь, Каран — AWS Forge 00:07:04 : Зачем вообще заниматься настройкой, если передовые модели постоянно выигрывают? 00:11:51 : Всего 3 причины для настройки: качество, скорость, стоимость 00:13:58 : Действительно ли это работает? Реальность ROI 00:19:47: Когда НЕ следует проводить кастомизацию 00:22:11: Как небольшая модель победила гигантов в продакшене 00:25:36: Как заставить модель перестать галлюцинировать 00:28:04: Предварительное обучение для RL: 4 этапа в демистификации 00:31:39: Вам нужно гораздо меньше данных, чем вы думаете 00:39:29: Катастрофическое забывание (и как его избежать) 00:44:08: Почему оценки важнее, чем ваша модель 00:48:48: Подсказка против тонкой настройки против агента — это не либо то, либо другое 00:50:34: Как это сделать на AWS 00:56:00: От ноутбука до продакшена 00:56:15: Быстрый раунд 01:01:16: CTO сценарий для настройки 01:04:53: Заключительные замечания Чтобы узнать больше о Perform AI: https://bit.ly/4ywZ6OM Блог с примером использования Parcel Perform: https://aws.amazon.com/blogs/machine-... Подпишитесь на AWS: https://go.aws/subscribe Создайте бесплатную учетную запись AWS: https://go.aws/signup Попробуйте AWS бесплатно: https://go.aws/free Свяжитесь с экспертом: https://go.aws/contact Узнайте больше: https://go.aws/more Следующие шаги: Изучите AWS в аналитических исследованиях: https://go.aws/reports Найдите, разверните и управляйте программным обеспечением, работающим на AWS: https://go.aws/marketplace Присоединяйтесь к партнерской сети AWS: https://go.aws/partners Узнайте больше о том, как Amazon разрабатывает и эксплуатирует программное обеспечение: https://go.aws/library У вас есть технические вопросы по AWS? Задайте вопрос сообществу экспертов AWS на re:Post: https://go.aws/3lPaoPb Почему AWS? Amazon Web Services — это самая комплексная и широко используемая в мире облачная платформа, позволяющая клиентам создавать все, что они могут себе представить. Мы предлагаем самый широкий выбор инновационных облачных возможностей и экспертных знаний на самой обширной глобальной инфраструктуре с лучшей в отрасли безопасностью, надежностью и производительностью. #AWS #AmazonWebServices #CloudComputing #AWS #AmazonWebServices #CloudComputing #AWSForAI #artificial-intelligence #ModelCustomization #FineTuning #SmallLanguageModels #AmazonNova #SageMaker #AmazonBedrock #LoRA #MachineLearning #TechTalks