ClickHouse против Druid против Pinot: как сделать правильный выбор

Все тесты производительности OLAP в реальном времени, которые вы видели, проводились компанией-разработчиком базы данных. Вот что на самом деле отличает ClickHouse, Apache Druid и Apache Pinot в производственной среде. Все три обещают обработку запросов менее чем за секунду по миллиардам строк, и для большинства рабочих нагрузок все три выполняют свои обещания. На самом деле вы выбираете набор операционных проблем, с которыми вам придётся смириться. Я подробно разбираю, как каждая система хранит и обрабатывает данные, сравниваю их по скорости загрузки, задержке запросов, операционной нагрузке, обновлениям и объединениям, а затем предоставляю блок-схему для выбора. Сразу предупреждаю: я запускал ClickHouse в производственной среде с подключенным пейджером, но я оценивал только Druid и Pinot, поэтому мой выбор ClickHouse будет соответствующим. ⏱️ Разделы 0:00 - Проблема бенчмарка, о которой никто не упоминает 1:37 - Что на самом деле означает OLAP в реальном времени 2:52 - ClickHouse: MergeTree и разреженный индекс 4:30 - Druid: оплата при приеме данных с помощью агрегирования 6:13 - Pinot: предварительная агрегация звездообразного дерева 7:32 - Реальный форк: с чего начинается предварительное вычисление 8:46 - Сравнение по пяти измерениям 11:12 - Блок-схема: с чего начать 12:32 - Честные ограничения 🔗 Ссылки ClickHouse: https://clickhouse.com Apache Druid: https://druid.apache.org Apache Pinot: https://pinot.apache.org #ClickHouse #ApacheDruid #ApachePinot #realtimeOLAP #OLAP #dataengineering #analyticsdatabase #MergeTree #startree #userfacinganalytics #columnardatabase #datainfrastructure #Kafka #subsecondqueries #databasecomparison