От плана запроса к производительности: повышение эффективности запросов Apache Spark с помощью вк...

Вкладка SQL в пользовательском интерфейсе Spark предоставляет много информации для анализа ваших запросов Spark, начиная от плана запроса и заканчивая всей связанной статистикой. Однако многие начинающие специалисты по Spark испытывают затруднения из-за обилия представленной информации и не могут использовать её в своих интересах. В этом докладе мы хотим дать простое введение в то, как читать эту вкладку SQL. Сначала мы рассмотрим все распространенные операции Spark, такие как сканирование, проектирование, фильтрация, агрегирование и объединение, и то, как они связаны с написанным кодом Spark. Во второй части доклада мы покажем, как читать связанную статистику, чтобы выявлять узкие места в производительности. После посещения этого доклада вы лучше поймете планы запросов и вкладку SQL и сможете использовать эти знания для повышения производительности ваших запросов Spark. О компании: Databricks предоставляет унифицированную платформу анализа данных на базе Apache Spark™, ​​которая ускоряет инновации, объединяя науку о данных, инженерию и бизнес. Подробнее здесь: https://databricks.com/product/unifie... Посмотреть все предыдущие сессии саммита: Свяжитесь с нами: Веб-сайт: https://databricks.com Facebook:   / databricksinc   Twitter:   / databricks   LinkedIn:   / databricks   Instagram:   / databricksinc   Компания Databricks с гордостью сообщает, что Gartner назвала нас лидером как в «Магическом квадранте 2021 года для облачных систем управления базами данных», так и в «Магическом квадранте 2021 года для платформ анализа данных и машинного обучения». Скачать отчеты можно здесь. https://databricks.com/databricks-nam...