Проект по разработке данных с нуля до внедрения | Проект по миграции данных

Курс по Data Science от Odinschool: https://www.0din.link/sJql8dV70 В этом видео вы поймете, что представляет собой сквозной проект по разработке данных. Если вы хотите понять, как работают проекты по разработке данных в реальной жизни, то это видео для вас! Свяжитесь со мной: Instagram: instagram.com/shubhaam.codes LinkedIn:   / shubhamwadekar   Подготовка к собеседованию для инженеров данных: https://linktr.ee/shubham_wadekar1 Сообщество WhatsApp: https://whatsapp.com/channel/0029VanK... Интервьюер: Сахил Джайн -   / sahiljaindataengineer   Интервьюируемый: Даршан Самнтани -   / darshan-samtani-8104aa157   РАЗДЕЛЫ: 00:00 – Введение в серию проектов 01:00 – Программа по науке о данных 02:26 – Представление кандидата 03:00 – Объяснение проекта 03:35 – Исходные системы, Технологический стек и процессы, использованные в проекте. 05:52 - Размер данных, обрабатываемых в проекте. 07:36 - Различные типы используемых форматов данных. 09:35 - Тип разработанного конвейера обработки данных. 11:45 - Конвейер ETL или ELT? 12:08 - Время выполнения конвейера. 12:58 - Различные используемые преобразования. 14:30 - Технологии, используемые для преобразований. 16:10 - Методы оптимизации, используемые в проекте. 18:15 - Какие типы объединений использовались и как вы их оптимизировали. 19:40 - Какая тестовая среда используется? 21:10 - Проверки валидации 23:15 - Как вы обрабатывали дедупликацию 25:40 - С какими ошибками вы столкнулись и как вы их обрабатывали в процессе работы 27:30 - Что бы вы хотели изменить в текущем проекте, если бы у вас была такая возможность. 30:05 - Какой подход лучше использовать для обработки динамически изменяющейся схемы? 32:09 - Все о безопасности 34:30 - Вопрос от кандидата: как можно было бы реализовать задания ETL? 39:00 - Обратная связь в режиме реального времени ✨ Теги ✨ Имитация собеседования на инженера данных, Вопросы для собеседования на инженера данных, Имитация собеседования на инженера данных, Подготовка к собеседованию на инженера данных, Собеседование на инженера данных Azure, Облачная инженерия данных, Вопросы для собеседования по ETL, Собеседование по SQL для инженера данных, Вопросы для собеседования по PySpark, Имитация собеседования по Big Data, Реальное собеседование на инженера данных, Вопросы по сценариям для инженера данных, Техническое собеседование на инженера данных, Полная версия имитации собеседования, Имитация проекта на инженера данных AWS, Проекты по инженерии данных, Смена карьеры инженера данных, Инженер данных начального уровня, Дорожная карта инженерии данных, Моделирование данных, Хранилища данных, Delta Lake, Glue, Athena, фондовый рынок, данные в реальном времени, Проект по инженерии данных, Проекты по инженерии данных, Завершение Проект по разработке сквозных данных, сервисы GCP, сервисы AWS ✨ Хэштеги ✨ #mockinterview #dataengineering #data #dataengineer #sql #python #pyspark #jobs #interview #bigdata #azure #cloud #gcp #aws #databricks #adf #azuredatafactory #synapse #dataflow #dataproc #project #end_to_end_data_engineering_project #ETL #DataPipeline #DataOps #PySpark #ApacheKafka #AWSGlue #Airflow #Snowflake #SQL #Python #CloudComputing #DataProcessing #BatchProcessing #StreamProcessing #DataTransformation #GoogleCloud #GCP #GoogleCloudPlatform #GCPProjects #CloudComputing #BigQuery #Dataflow #PubSub #Dataproc #CloudComposer #DataEngineeringOnGCP #GCPDataServices #StreamingWithGCP #CloudEngineer #GCPTraining #GCPforDataEngineers #aws #athena #glue #kafka #airflow