Изучение Databricks на примере создания Lakehouse для розничного банка: полный курс

Изучите Databricks, создав виртуальный банк на берегу озера: полный курс 86 разделов, 12 курсов, 1:58:44. Виртуальный банк построен на реальной рабочей области Databricks Free Edition — бессерверной, Spark 4.2.0 — поэтому каждый подсчет строк, каждый список файлов и каждая ошибка, которую вы видите, — это ответ этой рабочей области. Немногие функции, которых нет в Free Edition, обозначены на экране как документированные, никогда не отображаются так, как если бы они были запущены. ⏱ РАЗДЕЛЫ 0:00:00 ▸ Почему Databricks и Global Bank — Почему существует Databricks 0:01:34 Данные Global Bank 0:03:08 Архитектура Medallion 0:04:53 Что мы будем строить 0:06:22 ▸ Рабочее пространство и первая таблица — Рабочее пространство и CLI 0:07:57 Где выполняется ваш код 0:09:40 Databricks Connect: Spark на бессерверной архитектуре 0:11:13 Каталоги, схемы, тома 0:12:44 Загрузка первых файлов 0:14:12 Первая таблица 0:15:48 ▸ Загрузка потока карточек — Файлы продолжают поступать 0:17:09 Автозагрузчик: каждый файл один раз 0:18:32 Контрольная точка 0:19:54 Подсказки схемы: деньги и время 0:21:11 Схема Эволюция: новая область 0:22:39 Восстановленные данные 0:24:00 Откуда взялась каждая строка 0:25:20 Бронза, согласовано 0:26:43 ▸ Сделать реестр надежным — Некачественная партия данных 0:28:04 Путешествие во времени 0:29:22 ВОССТАНОВЛЕНИЕ 0:30:29 Ограничения 0:31:54 Два записывающих устройства, одна таблица 0:33:15 Урегулирование авторизаций 0:34:42 Векторы удаления 0:36:04 Изменение потока данных 0:37:30 ▸ Клиенты и учетные записи из основной системы — Что отправляет основная система 0:38:54 Текущее состояние с MERGE 0:40:07 Не по порядку 0:41:25 Применение изменений в последовательности 0:42:35 Удаления 0:43:47 История: тип SCD 2 0:45:04 Соединение на определенный момент времени 0:46:14 Управляемые коннекторы 0:47:39 ▸ Защита данных клиентов — Каталог Unity 0:49:10 Предоставление прав доступа по уровням 0:50:27 Маски столбцов 0:51:53 Фильтры строк 0:53:07 Теги и классификация 0:54:22 Происхождение данных 0:55:30 Аудит 0:56:45 Удаление против хранения 0:58:16 ▸ Объявление конвейера — Зачем объявлять 0:59:34 Потоковые таблицы 1:00:57 Материализованные представления 1:02:28 Граф 1:03:34 Ожидания 1:05:02 Карантин 1:06:27 АВТО CDC 1:07:57 Журнал событий 1:09:09 Полное обновление 1:10:29 ▸ Обслуживание бизнеса — хранилище данных SQL 1:11:55 Ежедневные балансы 1:13:18 Ежемесячная выписка 1:14:45 Вопрос регулятора 1:16:05 Панель мониторинга 1:17:35 Оповещения 1:18:59 Почему запрос выполняется медленно 1:20:31 ▸ Выявление мошенничества с картами — Как выглядит тестирование карт 1:21:57 Правила в первую очередь 1:23:18 Правило потоковой обработки 1:24:48 Функции в Unity Catalog 1:26:08 Отслеживание MLflow 1:27:42 Модель в Unity Catalog 1:28:59 Оценка нового дня 1:30:26 Точность, полнота, деньги 1:31:57 ▸ Запуск каждую ночь — Ночной запуск 1:33:23 Запуск задания 1:34:33 Поступление файла 1:35:43 Сбой и ремонт 1:37:05 Идемпотентность 1:38:18 Параметры и значения задач 1:39:40 От имени кого выполняется задача 1:40:53 ▸ Отправка в виде кода — Рабочая область не является Git 1:42:17 Пакет 1:43:40 Ресурсы 1:44:59 Цели 1:46:09 Проверка, развертывание, запуск 1:47:39 Тесты 1:49:03 CI 1:50:21 ▸ Эксплуатация и оплата — Стоимость 1:51:45 Небольшие файлы 1:53:09 Кластеризация Liquid 1:54:41 Прогнозирующая оптимизация 1:56:01 Готовый банк 1:57:26 Куда дальше