ADH Cloud: как движки ADH переходят с выделенных серверов в Kubernetes. Петр Федченков.

На примере ADH Cloud Петр разобрал интеграцию с ADH и объектными хранилищами, Kerberos, Kubernetes-операторы, адаптацию Spark, а также использование Celeborn, YuniKorn и единой конфигурации через ADC. Отдельное внимание было уделено архитектурным решениям и компромиссам такого перехода. Спикер: Петр Федченков, Старший системный архитектор, Arenadata 00:00 Представление спикера, структура доклада 01:20 Для чего переносить движки в Kubernetes 06:25 Безопасность 10:01 Особенности движков Impala и Trino 17:05 Доработки Spark 22:05 Оператор Spark в ADH Cloud 23:54 Где хранится shuffle; сервис Celeborn 29:17 YuniKorn как очередь приложений 32:23 Доработки для YuniKorn 33:41 Правки Spark под Kubernetes 37:55 Как устанавливать всё это в кластерах. Утилита командной строки adc 44:34 Мониторинг 50:30 Ответы на вопросы #ADH #ADHCloud