FOSS4GE 2025 | Обработка и публикация морских AIS-данных с помощью GeoServer и Databricks в Azure

Объем данных, которые нам необходимо обрабатывать и публиковать, растет с каждым днем, и, к счастью, инфраструктура, технологии и методологии для обработки таких потоков данных постоянно совершенствуются и развиваются. GeoServer — это веб-сервис с открытым исходным кодом для публикации геопространственных данных с использованием отраслевых стандартов для векторной, растровой и картографической обработки. Он лежит в основе ряда проектов с открытым исходным кодом, таких как GeoNode и geOrchestra, и широко используется организациями по всему миру для управления и распространения данных в больших масштабах. Мы интегрировали GeoServer с некоторыми известными технологиями обработки больших данных, такими как Kafka и Databricks, и развернули системы в облаке Azure для обработки сценариев использования, требующих отображения на карте последних полученных данных AIS в режиме, близком к реальному времени, а также фоновой пакетной обработки исторических данных AIS для морской отрасли. В этой презентации будет описана созданная архитектура и проблемы, которые GeoSolutions пришлось преодолеть для публикации больших данных через сервисы GeoServer OGC (WMS, WFS и WPS), чтобы найти правильный баланс, обеспечивающий максимальную производительность приема и визуализации. Нам пришлось интегрироваться с платформой потоковой обработки данных, которая брала на себя большую часть обработки и хранения данных в озере данных Azure, что позволяло GeoServer эффективно запрашивать последние доступные объекты, соблюдая все установленные политики авторизации. Для решения сложных задач авторизации, удовлетворения потребностей в расширенном стилизации и интеграции с большими данными было реализовано несколько пользовательских расширений GeoServer. Андреа Айме https://talks.osgeo.org/foss4g-europe... Комната: SA02 @ 18.07.2025 14:00:00 #foss4ge2025 #GeneralTrack #UseCasesApplications