Проблема горячих клавиш в Kafka: масштабирование пропускной способности без нарушения порядка.

В этом видео мы рассмотрим проблему «горячих ключей» в Kafka — распространённую проблему в распределённых системах, когда один ключ генерирует непропорционально большой объём событий, перегружая один раздел, в то время как другие остаются недоиспользованными. Мы разберёмся, как работает секционирование в Kafka, почему добавление большего количества разделов может не решить проблему «горячих ключей», и как добавление «соли» и распределённые секвенсоры могут помочь сбалансировать нагрузку, обеспечивая при этом гарантии порядка событий. Это практическое подробное изучение внутренних механизмов Kafka и компромиссов в распределённых системах, объяснённое бывшим инженером Google. Временные метки 00:00 – Введение 00:35 – Проблема горячих ключей в Kafka 04:21 – Программы обучения в режиме реального времени 04:38 – Идентификация горячих разделов и перекоса разделов 06:23 – Решение 1: Обратное давление 07:48 – Решение 2: Солеобразование (распределение горячего ключа по разделам) 11:00 – Компромисс: упорядоченное или неупорядоченное хранение 12:00 – Централизованный секвенсор: как он работает 14:26 – Распределенный секвенсор 16:32 – Распределенные секвенсоры и согласованное хеширование 18:31 – Компромисс 19:15 – Резюме 19:34 – Вопрос для повторения 21:30 – Заключение Что вы узнаете Как Kafka сопоставляет сообщения с разделами с помощью ключей Почему горячие ключи создают перекос разделов и Задержка потребителя Как добавление соли распределяет события по нескольким разделам Почему распределение событий может нарушить порядок по ключу Как порядковые номера и секвенсоры помогают восстановить порядок Как распределенные секвенсоры улучшают масштабируемость Компромиссы между пропускной способностью, задержкой, порядком и сложностью Если вы готовитесь к собеседованиям по системному проектированию или создаете высокопроизводительные событийно-ориентированные системы с использованием Kafka, это видео поможет вам разобраться в реальных проблемах масштабирования. Поставьте лайк, если видео оказалось полезным. Оставьте комментарий со своим подходом к решению проблемы горячих ключей в Kafka. Подпишитесь, чтобы получать больше подробных обзоров Kafka, распределенных систем, системного проектирования и инженерии ИИ. #Kafka #СистемныйПроект #РаспределенныеСистемы #ApacheKafka #Масштабируемость ---------------------------------------------------------------------------------------------------------------------------------------------------------------- 🟣 ПРИСОЕДИНЯЙТЕСЬ к нашему 𝐋𝐈𝐕𝐄 𝐢𝐧𝐭𝐞𝐫𝐯𝐢𝐞𝐰 𝐭𝐫𝐚𝐢𝐧𝐢𝐧𝐠 𝐩𝐫𝐨𝐠𝐫𝐚𝐦 через WhatsApp: +91 8918633037 🟣 Свяжитесь с нами Коррес: https://techdose.co.in/ 🔵 LinkedIn:   / surya-pratap-kahar   🔴 INSTAGRAM:   / techdose_official   🟢 Канал в Telegram (PDF для просмотра): t.me/codewithTECHDOSE ---------------------------------------------------------------------------------------------------------------------------------------------------------------