Обеспечение непрерывной работы: как надежно и эффективно эксплуатировать Apache Flink — Роберт Ме...

Flink Forward Берлин, сентябрь 2017 г. #flinkforward Роберт Метцгер, руководитель инженерного отдела data Artisans Давайте будем честны: запуск распределенного потокового процессора с сохранением состояния, способного обрабатывать терабайты состояния и десятки гигабайт данных в секунду, при этом обеспечивая высокую доступность и корректность (в смысле точного однократного выполнения), невозможен без планирования, настройки и мониторинга. Хотя сообщество разработчиков Flink старается максимально упростить все, все же важно учитывать все требования и последствия. В этом докладе мы рассмотрим основные операционные загадки Flink на высоком уровне: - Планирование мощности и ресурсов: понимание теоретических ограничений. - Конфигурация памяти и ЦП: распределение ресурсов в соответствии с вашими потребностями. - Настройка высокой доступности: планирование на случай сбоев. - Контрольные точки и бэкэнды состояния: обеспечение корректности и быстрого восстановления. Для каждой из перечисленных тем мы представим концепции Flink и поделимся некоторыми передовыми практиками, которые мы усвоили за последние годы работы с пользователями Flink в производственной среде. https://data-artisans.com/