Настройка производительности Spark: шаффлы, перекосы, соединения и AQE · Apache Spark

Часть серии статей GraphL об Apache Spark — в каждом разделе одна диаграмма соответствует объясняемой идее, так что изображение и текст сливаются воедино. ━━━━━━━━━━━━━━━━ ⏱ РАЗДЕЛЫ 0:00 Получение корректных результатов, репрезентативных данных и базового уровня 1:10 Использование пользовательского интерфейса Spark и метрик для выявления ресурсоемких этапов 2:24 Диагностика проблем с ЦП, памятью, утечками, вводом-выводом и планированием 3:36 Выбор размеров разделов и параллелизма 4:51 Управление перемешиванием и перераспределением данных 6:07 Выбор и оценка стратегий объединения 7:19 Выявление и устранение неравномерности данных 8:35 Оценка кэширования, сохранения данных и перерасчетов 9:49 Улучшение структуры данных, размеров файлов, обрезки и переноса данных 11:02 Адаптивное выполнение запросов: данные о выполнении и изменения плана 12:20 Ресурсы исполнителя, планирование и динамическое распределение 13:34 Сравнительный анализ: до/после доказательства и пределы измерения ━━━━━━━━━━━━━━━━━ ▶ APACHE SPARK — СЕРИЯ ① Почему Apache Spark? Распределенная обработка данных: объяснение → https://graphl.in/apache-spark/#/foun... ② Архитектура Spark: драйвер, исполнители, задания, этапы и задачи → https://graphl.in/apache-spark/#/arch... ③ Сравнение RDD, DataFrames и Spark SQL в PySpark: объяснение → https://graphl.in/apache-spark/#/abst... ④ Корректность данных в PySpark: NULL, объединения, временные метки и пользовательские функции → https://graphl.in/apache-spark/#/corr... ⑤ Планы запросов Spark: как читать вывод explain() → https://graphl.in/apache-spark/#/quer... ⑥ Настройка производительности Spark: перемешивание, смещение, объединения и AQE ◀ это видео → https://graphl.in/apache-spark/#/perf... ⑦ Структурированная потоковая обработка Spark: водяные знаки, состояние и восстановление → https://graphl.in/apache-spark/#/stre... ⑧ Запуск Apache Spark в производственной среде: развертывание, мониторинг, восстановление → https://graphl.in/apache-spark/#/prod... ━━━━━━━━━━━━━━━━━ 🔗 Смотрите интерактивно на GraphL → https://graphl.in/apache-spark/#/perf... 🌐 Другие концепции → https://graphl.in ━━━━━━━━━━━━━━━━ #ApacheSpark #PySpark #DataEngineering #BigData #DistributedSystems