Крупномасштабное геопространственное индексирование и анализ на Apache Spark

SafeGraph — это компания, работающая с данными, — просто компания, работающая с данными, — которая стремится стать источником достоверной информации о физических местах. Мы сосредоточены на создании высокоточных геопространственных наборов данных, посвященных местам, где люди проводят время и тратят деньги. У нас есть бизнес-каталоги, данные о местоположении зданий и информация о пешеходном трафике для более чем 7 миллионов человек в разных странах и регионах. В этом докладе мы рассмотрим проблемы обработки геопространственных данных в больших масштабах. Мы рассмотрим открытые фреймворки, такие как Apache Sedona (на стадии инкубации), и их ключевые преимущества по сравнению с традиционными технологиями, включая пространственное индексирование и секционирование. Мы изучим пространственную структуру данных, формат данных и индексирование с открытым исходным кодом, например, H3. Мы покажем, как все это сочетается в облачной архитектуре, работающей на Databricks, Delta, MLFlow и AWS. Мы рассмотрим примеры геопространственного анализа со сложной геометрией и практические варианты использования пространственных запросов. Наконец, мы обсудим, как это дополняется моделированием машинного обучения, аннотированием с участием человека (HITL) и проверкой качества. Свяжитесь с нами: Веб-сайт: https://databricks.com Facebook:   / databricksinc   Twitter:   / databricks   LinkedIn:   / databricks   Instagram:   / databricksinc   Компания Databricks с гордостью объявляет, что Gartner назвала нас лидером как в «Магическом квадранте 2021 года для облачных систем управления базами данных», так и в «Магическом квадранте 2021 года для платформ обработки данных и машинного обучения». Скачать отчеты можно здесь: https://databricks.com/databricks-nam...