Собираем витрину данных: от описания до результата

Мой вебинар про дата-инженерию) Канал: https://t.me/data_engineerette Проект: https://github.com/Aigul9/spark-webinar Таймкоды: 00:00 Приветствие 01:14 Орг моменты 02:44 Краткое интро про вебинар 03:28 Реклама 10:18 Мое начало 11:09 Знакомство 13:14 Предметная область 17:50 Технические штуки 21:31 Переход к практике 22:20 Смотрим ТЗ-шку 26:41 Создаем Spark-сессию 28:42 Смотрим в Spark UI 30:34 Подключаемся к источникам 38:18 Готовим источники - ClickHouse. AI в помощь 48:38 Перерыв на вопросы 01:04:12 Реклама 01:18:19 Продолжаем готовить источники 01:25:29 Собираем витрину 01:30:49 Про кэширование 01:31:57 Смотрим в Spark UI после расчетов 01:32:53 Дособираем витрину и сохраняем результаты 01:38:17 Считаем метрики и анализируем результаты 01:41:27 Визуализируем 01:45:45 Освобождаем ресурсы, еще раз про кэширование 01:46:50 Чему мы научились 01:51:07 Новый пул вопросов 01:56:48 Как строить графики в BI 01:58:16 Продолжаем вопросы 02:13:02 Всем пока!