Что такое ETL: основные концепции создания ETL-конвейера #etl #sql

Привет всем! В этом видео я рассказал о концепции ETL. *Смотрите на скорости 1,5* Я разделил процесс на 3 этапа: извлечение, преобразование и загрузка. ETL — очень важная тема для любого инженера данных. Если вы новичок, вам следует уделить особое внимание и время изучению ключевых концепций ETL. Если вы опытный специалист, это видео станет для вас хорошим напоминанием. Ниже представлена ​​хронология: 00:00 Введение 01:00 Извлечение данных 01:05 Выгрузка данных из источника 04:10 Отсутствие сложной логики 04:40 Согласованность формата данных 06:07 Правила качества данных 07:48 Усечение и загрузка 08:10 Отсутствие бизнес-запросов 08:40 Стратегии загрузки 10:03 Подход к загрузке 10:40 Преобразование 11:33 Отображение 12:33 Обогащение 13:17 Объединения 13:49 Фильтрация 14:35 Удаление дубликатов 15:54 Агрегация 16:46 Загрузка 17:39 Измерения 20:47 Факты 22:10 Таблицы хранилища данных (EDW) 23:17 Витрины данных Нажмите, чтобы загрузить изображение, использованное в видео: https://etl-sql.com/roadmaps/