Внутреннее системное устройство OpenAI: как OpenAI незаметно внедрила Rust 1080

Онлайн-платформа хранения данных OpenAI, Habitat, обрабатывает более 70 миллионов запросов в секунду в 40 географических регионах и 500 петабайт данных, обеспечивая работу ChatGPT, Responses API и Codex. В то время как заголовки новостей о технологиях были сосредоточены на том, как OpenAI переписала свой основной сервис обработки данных с Python на Rust, используя всего двух инженеров и Codex, настоящим архитектурным шедевром стало то, как OpenAI намеренно запускала Python с пиковой нагрузкой в ​​20 миллионов запросов в секунду, масштабируя при этом нешардированную базу данных PostgreSQL с одним основным сервером до 800 миллионов пользователей. 🔔 Подпишитесь:    / @cloud-codes   💙 Станьте участником:    / @cloud-codes   🐦 Twitter/X: https://x.com/cloud_codes 💬 Discord:   / discord   В этом подробном обзоре Cloud Codes разбирает внутреннюю архитектуру распределенных систем OpenAI: как они защитили единственный основной сервер Postgres, используя почти 50 реплик для чтения, средства защиты от усиления записи MVCC, пулинг PgBouncer (снижение задержки соединения с 50 мс до 5 мс) и строгий 5-секундный тайм-аут схемы. Мы прослеживаем, почему Habitat эволюционировал из неверсионированной клиентской библиотеки в независимый сервис, изучаем ограничения среды выполнения Python — включая задержки планирования цикла событий asyncio при быстром возврате данных из хранилища, 60-секундные зависания синхронного анализа конфигурации Statsig и циклы сбоев метастабильного пула соединений aiohttp LIFO — и разбираем, почему OpenAI приняла объектно-граничную модель данных NoSQL от Facebook TAO, чтобы физически запретить дорогостоящие SQL-соединения, прежде чем выполнить переписывание кода на Rust с 6-кратным увеличением ЦП и 15-кратным увеличением памяти за один квартал. Если этот анализ помог вам понять проектирование высокомасштабных систем, архитектуру распределенных баз данных и компромиссы в производственном проектировании, подпишитесь на Cloud Codes, чтобы получать новые подробные обзоры каждую неделю. Создавайте, решайте, развертывайте. Если вы узнали здесь что-то новое, подпишитесь на ежедневную порцию. 🔗 Упомянутые ресурсы: • OpenAI Engineering: Быстрое масштабирование онлайн-хранилища (Habitat, часть 1): https://openai.com/index/scaling-stor... • OpenAI Engineering: Масштабирование PostgreSQL для работы с 800 миллионами пользователей: https://openai.com/index/scaling-post... • Официальный пост разработчиков OpenAI об архитектуре Habitat (@OpenAIDevs): https://x.com/OpenAIDevs/status/20985... • TAO: Распределенное хранилище данных Facebook для социального графа (Bronson et al.): https://www.usenix.org/conference/atc... • Метастабильные сбои в распределенных системах (HotOS '21) Статья): https://sigops.org/s/conferences/hoto... • Приобретение компанией OpenAI компании Rockset (аналитический поисковый движок): https://openai.com/index/openai-acqui... • Вакансии в OpenAI: инженер-программист, платформа баз данных Habitat: https://openai.com/careers/ ⏱️ Разделы: 0:00 - Скрытый слой между вами и ChatGPT 0:59 - Ноябрь 2022 г. - DevDay 2023: Рождение Habitat 2:39 - Стена 1: Как OpenAI масштабировала нешардидированный основной сервер Postgres 4:54 - Объединение 12 таблиц, PgBouncer и правило 5 секунд 6:28 - Стена 2: Почему клиентские библиотеки Причины сбоев 8:18 - Пари на Python: преднамеренный технический долг 9:35 - Стена 3: Налог GIL и измерение задержек asyncio 10:49 - Задержка конфигурации на 1,1 млрд долларов: зависания Statsig Fleet 12:05 - Стена 4: Ловушка пула соединений LIFO aiohttp 14:26 - Реальное решение: API объектов TAO и ребер Facebook 16:57 - Переписывание на Rust: 2 инженера, Codex и GPT-5.5 18:49 - Окончательный вердикт: 4 урока из системного проектирования OpenAI #openai #systemdesign #softwareengineering #rust #python #postgresql #distributeddatabase #cloudcodes #devops #backend Запросы пользователей: объяснение системного проектирования OpenAI OpenAI незаметно удалила свой бэкенд на Python архитектура платформы хранения OpenAI Habitat как масштабируется ChatGPT PostgreSQL до 800 млн пользователей Переписывание кодекса OpenAI Python на Rust 70 миллионов запросов в секунду OpenAI Задержка планирования цикла событий AsyncIO, задержка хвоста Флаг функции statsig, задержка OpenAI Python Ошибка пула соединений aiohttp lifo, сбой metastable API объектов и Edge Facebook Tao OpenAI Почему OpenAI не шардировал PostgreSQL Объединение соединений pgbouncer OpenAI OpenAI Habitat против Cosmos DB Статья Натана Бронсона об OpenAI Tao Сбой OpenAI при объединении таблиц 12 Преднамеренный технический долг OpenAI Python Как OpenAI использует Rust в продакшене Тайм-аут миграции схемы OpenAI 5 секунд ChatGPT ImageGen, вирусный трафик, SEV 0, сбой Cloud Codes