Дата-инжиниринг с использованием ИИ (февраль 2025 г.)

Разделы: 0:00 Приветствие и представление докладчика 3:17 Что мы будем создавать и общий план 6:34 LLM, обученные работе с интернет-данными 9:51 Каталог Unity и управление в Lakehouse 13:08 Платформа интеллектуального анализа данных 19:42 Бессерверная среда выполнения и упрощение кодирования 22:59 Материализованные представления и сужение ограничений 26:16 Наблюдаемость и управление производительностью 29:33 Федерация Lakehouse: BigQuery и другие 36:07 Настройка папки Git и руководство по лабораторной работе 42:41 Чтение представления графа конвейера 45:58 Три области данных: потоковые, справочные и статические 49:15 Метрики качества данных и сбои 52:32 Выбор блокнота конвейера 55:49 Единое управление и граф происхождения 1:02:23 Повторный запуск конвейера 1:08:57 Ассистент: объяснение кода и создание документации 1:15:31 Создание задания и чтение временной шкалы 1:22:05 Ожидания и настройки конвейера 1:25:22 Предстоящие события и подведение итогов Практический семинар Databricks по созданию современных конвейеров обработки данных и потоковой обработки с использованием Lakeflow на платформе Data Intelligence. Рассматриваются процессы приема, преобразования, оркестровки и управляемых конвейеров. #databricks #dataengineering #lakeflow #dataintelligence #techtalk #datascience #etl #workshop