Цзяци Лю — Построение конвейера данных с учетом тестирования — PyCon 2018

Докладчик: Цзяци Лю Создать надежный процесс обработки данных на Python — это одно, а найти инструменты и разработать фреймворк для тестирования этого процесса — совсем другое. Для того чтобы действительно итеративно развивать кодовую базу, необходимо уверенно тестировать ее в процессе разработки и отслеживать состояние производственной системы. В этом докладе я надеюсь рассмотреть ключевые компоненты для построения сквозного тестирования конвейеров обработки данных, заимствуя концепции из тестирования веб-сервисов на Python. Подобно тому, как мы проверяем работоспособность ответов API, мы хотим иметь возможность проверить, работает ли конвейер должным образом при корректных входных данных. Мы поговорим о ключевых особенностях, которые позволяют легко тестировать конвейер обработки данных, и о том, как определить временные метрики, которые можно использовать для мониторинга состояния конвейера обработки данных. Слайды можно найти по ссылкам: https://speakerdeck.com/pycon2018 и https://github.com/PyCon/2018-slides