Виталий Моисеев — Как мы строили lakehouse на Ozone

Подробнее о конференции SmartData: https://jrg.su/aTWU2K — — Скачать презентацию с сайта — https://jrg.su/B2Trx3 Как моя команда в компании «Островок!» разрабатывала и запускала Dota 2 — вторую версию нашей внутренней аналитической платформы, созданной для замены существующего решения на базе Vertica и HDFS. Расскажу о выборе архитектурных решений и переходе к S3-совместимой инфраструктуре с использованием Apache Ozone в связке с Trino, Spark и Iceberg. Подробнее поговорим про: ограничения прежней платформы и предпосылки к переходу; анализ альтернатив: почему выбрали Apache Ozone как хранилище, совместимое с S3 API; особенности интеграции Ozone с Trino, Spark и Iceberg; архитектуру Dota 2: от ingestion до аналитики; практический опыт миграции пайплайнов и данных; уроки, инсайты и подводные камни, которые мы встретили на пути.