Планы запросов в Spark: как читать вывод explain() · Apache Spark

Часть серии статей GraphL об Apache Spark — в каждом разделе одна диаграмма соответствует объясняемой идее, так что изображение и текст сливаются воедино. ━━━━━━━━━━━━━━━━━ ⏱ ГЛАВЫ 0:00 От DataFrame или SQL-кода к логическим и физическим планам 1:11 Анализ: разрешение имен, типов и выражений 2:27 Логическая оптимизация и выбор физической стратегии 3:43 Представление выполнения, управление памятью и генерация кода 5:05 Обмены, механика перемешивания и границы этапов 6:18 Практический пример: вывод функции explain() и трассировка ее выполнения ━━━━━━━━━━━━━━━━━ ▶ APACHE SPARK — СЕРИЯ ① Почему Apache Spark? Распределенная обработка данных: объяснение → https://graphl.in/apache-spark/#/foun... ② Архитектура Spark: драйвер, исполнители, задания, этапы и задачи → https://graphl.in/apache-spark/#/arch... ③ Сравнение RDD, DataFrames и Spark SQL в PySpark: объяснение → https://graphl.in/apache-spark/#/abst... ④ Корректность данных в PySpark: NULL, объединения, временные метки и пользовательские функции → https://graphl.in/apache-spark/#/corr... ⑤ Планы запросов Spark: как читать вывод explain() ◀ это видео → https://graphl.in/apache-spark/#/quer... ⑥ Оптимизация производительности Spark: перемешивание, смещение, объединения и AQE → https://graphl.in/apache-spark/#/perf... ⑦ Структурированная потоковая обработка Spark: водяные знаки, состояние и восстановление → https://graphl.in/apache-spark/#/stre... ⑧ Запуск Apache Spark в производственной среде: развертывание, мониторинг, восстановление → https://graphl.in/apache-spark/#/prod... ━━━━━━━━━━━━━━━━━ 🔗 Смотрите интерактивно на GraphL → https://graphl.in/apache-spark/#/quer... 🌐 Другие концепции → https://graphl.in ━━━━━━━━━━━━━━━━ #ApacheSpark #PySpark #DataEngineering #BigData #DistributedSystems