Observability в ClickHouse®: что ломается при масштабировании и как с этим работать

Все схемы ClickHouse отлично работают при объеме 10 ГБ. Большинство из них выходят из строя где-то между 1 ТБ и 100 ТБ, и редко по той причине, которую можно было бы предположить. Last9 использует всю свою платформу мониторинга (логи, метрики и трассировки, все на одном общем уровне ClickHouse) в реальном производственном масштабе: 480 миллионов строк логов в минуту, более 20 миллионов уникальных комбинаций меток для каждой метрики, агрегирование данных с точностью до долей секунды. Достижение этого результата означало столкновение с теми сбоями, с которыми рано или поздно сталкиваются все: столбцы с высокой кардинальностью, которые нарушают наивные стратегии индексирования, схемы хранения и многоуровневого хранения, которые либо увеличивают затраты на хранение, либо увеличивают задержку запросов, и решения на уровне управления о том, что фильтровать до того, как данные попадут в ClickHouse. В этой сессии Altinity и Last9 подробно расскажут о реальных решениях в области схемы и архитектуры, лежащих в основе унифицированной платформы телеметрии в масштабе предприятия: компромиссы между сортировкой и кардинальностью, когда фильтровать/изменять форму данных до и после загрузки, многоуровневая структура хранения (горячее/теплое/холодное хранение) и о том, как решения, принятые в рамках демонстрации, могут привести к проблемам в производственной среде. Докладчики: Джош Ли (Altinity) Пратамеш Сонпатки (Last9) ======================== СЛАЙДЫ ПРЕЗЕНТАЦИИ ======================== https://altinity.com/wp-content/uploa... ================================== УПРАВЛЯЕМОЕ ОБЛАКО ДЛЯ CLICKHOUSE ================================== https://altinity.com/managed-clickhouse/ ==================== РЕСУРСЫ ==================== База знаний Altinity для ClickHouse: https://kb.altinity.com/ Документация Altinity для ClickHouse: https://docs.altinity.com Стабильные сборки Altinity для ClickHouse: https://altinity.com/altinity-stable/ Обучение работе с ClickHouse: https://altinity.com/clickhouse-train... Сравнение Altinity с другими поставщиками ClickHouse: https://altinity.com/altinity-cloud-v... ==================== СООБЩЕСТВО ==================== 🧑🏽‍💻 Присоединяйтесь к сообществу: https://www.altinity.com/slack 🙋🏽 Получите поддержку в Slack: https://www.altinity.com/slack ⭐️ Поставьте звезду на GitHub: https://github.com/Altinity/ 🌐 Свяжитесь с нами в LinkedIn:   / 10955938   🌐 Подпишитесь на нас в Twitter:   / altinitydb   🌐 Поздоровайтесь на Reddit:   / clickhouse   #ai #clickhouse #claudeai #claudecode #claude #devops #grafana #вебинар #Altinity #opensource #cloudnative #clickhousedemo #clickhousetutorial #opensourcedatabase #sqldatabase #oauth