Введение в Lakehouse и Delta (февраль 2025 г.)

Разделы: 0:00 Приветствие и начало работы 3:16 Знакомство с Delta: зачем она существует 9:48 Почему проекты больших данных терпят неудачу 16:20 Основная проблема: надежность данных 19:36 Где на самом деле находятся файлы 22:52 Индексирование, пропуск, компактирование и кэширование 26:08 Переход от бронзового к серебряному и золотому уровню по запросу 29:24 Инкрементальная загрузка в одну и ту же таблицу 32:40 Почему Delta Lake: краткий обзор 35:56 Внутреннее устройство Delta Lake 39:12 Размер памяти и распределение работы 49:00 Путешествия во времени и настройки хранения по умолчанию 52:16 Структура таблицы и ограничения секционирования 55:32 Запуск OPTIMIZE 58:48 Функции, требующие Unity Catalog 1:05:20 Как избежать повторного выполнения полных запросов 1:08:36 Перемещение против переадресации Таблицы 1:11:52 Подключение к Power BI 1:15:08 Что на самом деле делает VACUUM 1:18:24 Структурированная потоковая обработка с помощью readStream 1:24:56 Обратная связь и подведение итогов Практический семинар Databricks по архитектуре Lakehouse и основам Delta Lake — надежным, управляемым таблицам для аналитики и ИИ на платформе Data Intelligence. #databricks #deltalake #lakehouse #dataengineering #dataintelligence #techtalk #workshop