Apache Kafka: Полное руководство по бенчмаркингу, пропускной способности и задержке.

🍽️ Блюдо дня: Бенчмарк Apache Kafka В этом видео Apache Kafka отправляется на кухню — и кластер превращается в высокопроизводительный ресторан. Шаг за шагом вы узнаете, как создать полное тестовое «меню», используя только нативные бинарные файлы (kafka-producer-perf-test.sh, kafka-consumer-perf-test.sh, kafka-e2e-latency.sh) для измерения пропускной способности, сквозной задержки, влияния разделов и коэффициента репликации. 🥗 Стартовый набор — Подготовка кластера Подготовьте тестовые темы с различными комбинациями разделов и коэффициентов репликации. Убедитесь, что диск, ЦП и сеть готовы к «обслуживанию», запустив базовые тесты ввода-вывода и настроив инструменты мониторинга в реальном времени (iostat, iftop, htop и т. д.). Помогает определить производительность дискового ввода-вывода: bash Быстрый тест файла размером 1 ГБ dd if=/dev/zero of=/tmp/tmpfile bs=1M count=1024 conv=fsync dd if=/tmp/tmpfile of=/dev/null bs=1M count=1024 rm /tmp/tmpfile 🍝 Основное блюдо – Пир пропускной способности Узнайте, как использовать kafka-producer-perf-test.sh для измерения пропускной способности на раздел и выявления истинной стоимости репликации (RF=1 против RF=3). Узнайте, как рассчитать минимальное количество разделов, необходимых для достижения определенной цели в МБ/с, превращая бизнес-требования в понятные технические решения. 🍷 Сопряжение — Сквозная задержка Запустите тесты сквозной задержки с помощью kafka-e2e-latency.sh и проанализируйте средние значения, P95, P99 и P99.9, чтобы понять, работает ли ваш «сервис» бесперебойно или зависает на кухне. Сравните подтверждения, размеры сообщений и конфигурации производителя, чтобы сбалансировать пропускную способность и надежность — без нерационального использования ресурсов. 🍰 Десерт — Мониторинг и устранение неполадок Узнайте, как сопоставлять результаты Kafka с метриками диска, ЦП, памяти и сети, чтобы найти истинное узкое место (а не просто «обычного подозреваемого»). Узнайте, какие метрики производителя, потребителя и брокера заслуживают постоянного места в вашем меню мониторинга производственной среды. 📦 Бесплатный инструмент: kafka-perf-test Чтобы ускорить процесс, ознакомьтесь с репозиторием kafka-perf-test — он включает Docker Compose, скрипты Bash и реализацию на Python, которая автоматизирует тесты и генерирует интерактивные HTML-отчеты для визуального анализа. GitHub: github.com/mordp1/kafka-perf-test Дополнительные ресурсы Бенчмарк Confluent OpenMessaging: https://github.com/confluentinc/openm... Фреймворк бенчмарков OpenMessaging: https://openmessaging.cloud/docs/benc... 🔑 Ключевые слова, которые вы увидите в этом видео: Apache Kafka, бенчмарк Kafka, тестирование производительности Kafka, пропускная способность Kafka, задержка Kafka, тест производительности производителя Kafka, тест производительности потребителя Kafka, сквозная задержка Kafka, разделы Kafka, коэффициент репликации, настройка Kafka, наблюдаемость Kafka, DevOps, проектирование производительности, потоковая передача данных.