Создание крупномасштабного транзакционного озера данных с использованием Apache Hudi

Данные — это критически важная инфраструктура для построения систем машинного обучения. От обеспечения точного расчетного времени прибытия до прогнозирования оптимальных маршрутов движения транспорта, предоставление безопасных и бесперебойных транспортных и курьерских услуг на платформе Uber требует надежного, высокопроизводительного хранения и анализа больших объемов данных. В 2016 году Uber разработал Apache Hudi, фреймворк для инкрементальной обработки данных, который обеспечивает работу критически важных для бизнеса конвейеров обработки данных с низкой задержкой и высокой эффективностью, а также помогает распределенным организациям создавать и управлять хранилищами данных петабайтного масштаба. В этом докладе я расскажу о том, что такое Apache Hudi и его архитектуре, а затем подробно рассмотрю улучшение операций с данными за счет таких функций, как версионирование данных и «путешествие во времени». Мы также обсудим, как Hudi внедряет архитектуру Каппа в системы обработки больших данных и обеспечивает эффективную инкрементальную обработку для сценариев использования, близких к реальному времени. Докладчик: Сатиш Кота (Uber) Разработчик и инженер Apache Hudi в Uber. Ранее он работал над созданием распределенных систем хранения данных реального времени, таких как Twitter MetricsDB и BlobStore. Ресурсы: https://www.aicamp.ai/event/eventdeta... Слайды: https://www.slideshare.net/BillLiu31/...