Мониторинг искр: основы

В этом видео я расскажу, как использовать стандартный пользовательский интерфейс для мониторинга Apache Spark. Для демонстрации я использую Azure Databricks, но большинство методов одинаковы в любой среде Spark. Основное внимание я уделяю тому, как использую его в своей повседневной работе инженера данных. Включены темы: пользовательский интерфейс Spark, базовый план запроса, метрики Ganglia и журналы драйверов. Мониторинг потоков с помощью пользовательского прослушивателя потоковых запросов:    • Data Collab Lab: Monitoring Spark Streamin...   Подробнее от Дастина: Веб-сайт: dustinvannoy.com Твиттер: @dustinvannoy Github: https://github.com/datakickstart