Александр Мошура. Новые вызовы бизнеса, как их поддержать и как выбрать подходящие технологии

00:00:00 Введение — Лидер архитектуры рассказывает о стратегии управления данными, подчеркивая важность децентрализации и построения систем вокруг данных. 00:00:58 Концепция дата мэш — Внедрение дата мэша для упрощения рутинных операций с помощью ИИ. 00:01:39 Проблемы инфраструктуры — Требуется обновление оборудования и сокращение локальных хранилищ. 00:02:54 Архитектура дата лейк хаус — Переход к разделению хранения и вычислений с горизонтальным масштабированием. 00:04:07 Исследование технологий — Разделение на три части: хранение, вычисления и форматы данных, структурированный выбор инструментов. 00:05:00 Инструменты распределённых вычислений — Критерии и оценки 00:07:59 Инструменты хранения данных — Apache Ozone и Zkroma лидируют по эффективности; 00:11:34 Открытые форматы данных — Приоритет: MERGE-READ и возможность чтения/записи; 00:14:38 Системы управления базами данных — Скорость поиска, масштабируемость и поддержка SPARs-векторов; 00:17:27 Прототип дата лейк хауса — Архитектура протестирована без потерь в производительности, обеспечивает изоляцию команд. 00:18:19 Горизонтальное масштабирование — Позволяет масштабировать компоненты более эффективно; Melvus выбран как решение для векторного поиска. 00:19:08 Пересмотр стека — Включая Starrocks и low-code инструменты для пайплайнов и метаданных, учитывая старые и новые решения. 00:20:07 Пилот Data Lake House — Совместное тестирование 00:20:15 Завершение