Что такое ETL

Каждый понедельник кто-то вставляет три экспортированных файла в электронную таблицу и исправляет их вручную. Один запланированный скрипт может сделать это до того, как кто-либо войдет в систему. Это ETL. Это объяснение ETL (извлечение, преобразование, загрузка) для начинающих: что делает каждый шаг, почему они выполняются в таком порядке, и одно правило, которое превращает скрипт в надежный конвейер: его можно безопасно запускать дважды. Извлечение охватывает полную и инкрементальную загрузку, водяные знаки и когда необходимо отслеживать изменения данных. Преобразование охватывает дедупликацию, согласованные типы и ключи, а также проверку детализации, которая выявляет скрытое двойное счисление. Загрузка охватывает добавление, слияние (upsert) и перезапись разделов, а также почему идемпотентность определяет, оставит ли повторный запуск 1200 строк или 2400. Затем полный пример с подробным разбором, как дешевые облачные хранилища превратили ETL в ELT, и четыре распространенных заблуждения об ETL. ⏱️ Разделы 0:00 - Проблема с электронной таблицей в понедельник 1:05 - Что означает ETL: извлечение, преобразование, загрузка 1:42 - Почему существует ETL и почему T предшествует L 3:04 - Извлечение: полное против инкрементального и водяные знаки 3:57 - Слабые места извлечения: удаление и границы 4:44 - Преобразование: дедупликация, соответствие типов и ключей 5:44 - Проверка детализации, которая выявляет скрытые ошибки 6:31 - Загрузка: добавление, слияние, перезапись разделов 7:14 - Идемпотентность: безопасно запускать дважды 7:55 - Рабочий пример: один понедельник, каждая строка учтена 9:07 - Повторная попытка: 2400 строк или 1200? 9:43 - От ETL к ELT: почему буквы поменялись местами 10:44 - Четыре распространенных заблуждения об ETL 11:41 - Краткий обзор и ограничения 🔗 Ссылки Airbyte: https://airbyte.com Fivetran: https://www.fivetran.com Debezium: https://debezium.io dbt: https://www.getdbt.com Рекомендации по Apache Airflow: https://airflow.apache.org/docs/apach... PostgreSQL MERGE: https://www.postgresql.org/docs/curre... Snowflake: https://www.snowflake.com BigQuery: https://cloud.google.com/bigquery Amazon Redshift: https://aws.amazon.com/redshift/ #ETL #ELT #ETLpipeline #извлечениетрансформациязагрузка #конвейерданных #инженернаяработаданных #идемпотентность #захватизмененийданных #инкрементальнаязагрузка #хранилищеданных #dbt #Airflow #Airbyte #Fivetran #Snowflake