Стратегия производительности OpenAI для 900 млн пользователей ChatGPT

Как поддерживать производительность системы, когда агенты ИИ отправляют на 70% больше запросов на слияние, а ваша пользовательская база достигает 900 миллионов активных пользователей в неделю? В этом докладе Мартин Спир (руководитель группы производительности ChatGPT в OpenAI, бывший сотрудник Netflix) анализирует совокупное влияние разработки агентов на архитектуру системы. По мере того, как рабочие процессы разработчиков смещаются в сторону многопоточного выполнения ИИ, традиционные методы проектирования производительности должны развиваться. Мартин рассказывает, как OpenAI масштабирует инфраструктуру без графических процессоров, перестраивает бюджеты задержек и развертывает автономных агентов производительности для устранения регрессий до того, как это приведет к сбоям в производственной среде. ⏱️ Временные метки видео (для навигации) 00:00 - Двойное ускорение: быстрый рост и агентное программирование 02:15 - Масштабирование ChatGPT до 900 миллионов активных пользователей в неделю 04:30 - Скрытые инженерные затраты на запросы на слияние, генерируемые ИИ 07:10 - Почему инфраструктура без GPU (ЦП и память) является узким местом для ИИ 09:50 - Измерение того, что имеет значение для восприятия: деконструкция задержки 12:40 - Переосмысление проектирования производительности: постоянно работающий агентный цикл 15:35 - Создание автономных средств защиты, бенчмарков и наблюдаемости 18:10 - Будущая роль инженерных лидеров в стеке, ориентированном на ИИ 🔗 Транскрипт доступен на InfoQ: https://bit.ly/3U7tHnJ #SoftwareArchitecture #OpenAI #ПрофессиональнаяИнженерия #АгентныйИИ #DevOps