Тестирование в dbt: общие, единичные, пользовательские и модульные тесты | dbt в Snowflake

Модель DBT может успешно работать без ошибок SQL, но при этом выдавать некорректные данные. Как выявить эти проблемы до того, как они повлияют на ваши отчеты? В этом руководстве мы рассмотрим полную структуру тестирования DBT на Snowflake, используя проект E2E Global Employee Analytics с записями сотрудников, отделами и событиями отпусков из США, Германии и Индии. Вы узнаете разницу между общими тестами, индивидуальными тестами, пользовательскими общими тестами и модульными тестами, а также когда использовать каждый из них на реальных примерах с использованием проекта Global Employee Analytics. Что вы узнаете ----------------------------- Общие тесты: Понимание `unique`, `not_null`, `accepted_values` и `relationships`. Тест связей: Выявление записей, которые ссылаются на сотрудников или отделы, которых не существует. Тест допустимых значений: Проверка кодов отпусков в исходном коде на соответствие ожидаемому списку. Индивидуальные тесты: Написание SQL-запросов, которые возвращают записи, нарушающие определенное бизнес-правило, например, нулевое, отрицательное или отсутствующее количество дней отпуска. — Пользовательские универсальные тесты: создавайте многократно используемые правила проверки качества данных вместо повторения похожих SQL-запросов. — Модульные тесты dbt: проверяйте логику преобразования, используя выбранные входные строки и ожидаемые выходные данные. — Отладка тестов dbt: разберитесь в скомпилированном SQL-коде, файле `target/run_results.json` и назначении `store_failures`. — Выбор правильного теста: узнайте, когда следует использовать универсальные, единичные, пользовательские универсальные и модульные тесты вместе. Разделы ----------------------------- 0:00 Почему успешный запуск dbt может привести к некорректным данным 0:41 Проект глобальной аналитики сотрудников 1:27 Общие тесты: четыре встроенные проверки 2:22 Тест связей: обнаружение отсутствующих ссылок 2:48 Допустимые значения: проверка кодов отпусков 3:45 Моделирование неудачного теста связей 4:49 Сингулярные тесты: проверка бизнес-правил с помощью SQL 5:42 Пользовательские общие тесты: повторное использование правил 6:40 Модульные тесты: проверка логики преобразования 8:29 Отладка тестов с использованием целевого каталога 8:54 Сохранение строк неудачных тестов с помощью `store_failures` 9:20 Какой тест dbt следует использовать? 10:11 Ключевые выводы Продолжить обучение ----------------------------- 1. Создание проекта dbt с нуля на Snowflake Более подробное практическое руководство, охватывающее весь проект, модели, преобразования, тесты качества данных и многое другое.    • Learn dbt on Snowflake | Complete Job Read...   2. Код Snowflake Cortex: простые и подробные подсказки Узнайте, как детализация подсказок может повлиять на рабочие процессы кодирования с помощью ИИ.    • Snowflake Cortex Code Built dbt Pipeline i...   #dbt #Snowflake #DataEngineering #dbttesting