Apache Kafka: как отбалансировать десятки брокеров с миллионом rps с помощью Cruise-Control

«Apache Kafka: как отбалансировать десятки брокеров с миллионом rps с помощью Cruise-Control» — Юрий Ходырев (Ozon, старший инженер инфраструктуры сервисов команды MessageBus) В Ozon активно используется Kafka в качестве основной шины данных, с которой взаимодействуют тысячи микросервисов. Спикер сделал обзор на существующие решения, помогающие в балансировке больших кластеров. Доклад посвящен одному из таких инструментов — Cruise Control. Юрий Ходырев объяснил, как он работает изнутри и с какими проблемами его команда столкнулась снаружи. Ссылка на презентацию: https://drive.google.com/file/d/16Vrw... Сайт конференции — https://udwe.ru Официальный канал конференции — https://t.me/ural_digital_weekend Сайт Spectr — https://spectr.dev Организатор конференции — Spectr (https://spectr.dev) Организационный партнер — Тэглайн (https://tagline.ru) Нанять команду Spectr — https://digital-spectr.ru/new-client #udw #ural_digital_weekend #udweek #digital #tagline #тэглайн #spectr #digitalspectr #мероприятие #udw2023 #development #digiweek #kafka #cruisecontrol #балансировка 00:00 Заставка 00:03 Представление спикера, вступительное слово 01:39 Что такое Kafka? 03:20 Kafka в Ozon 07:35 Почему нельзя сразу сделать хорошо? 08:35 Балансировка с помощью Kafka-tools 10:30 Поиск решения по балансировке больших кластеров 15:35 Как устроен Cruise Control 17:20 Модуль Monitor 19:53 Модуль Analyzer 21:18 Analyzer. Goals 25:32 Проблемы Cruise Control 31:18 Итоги 31:50 Вопросы из зала