Что такое Data Mesh и как это работает? При участии Zhamak Dehghani

https://cnfl.io/podcast-episode-175 | Архитектурный сдвиг парадигмы «сетки данных» заключается в перемещении аналитических данных из монолитного хранилища данных или озера данных в распределенную архитектуру, что позволяет обмениваться данными для аналитических целей в режиме реального времени, непосредственно в точке их происхождения. Идея «сетки данных» была предложена Жамак Дехгани (директором по новым технологиям, Thoughtworks) в 2019 году. Здесь она знакомит с «сеткой данных» и основными проблемами, которые она пытается решить. Жамак отмечает, что сложность и амбиции в использовании данных в современной индустрии значительно возросли. Но что такое «сетка данных»? Более полувека мы пытаемся демократизировать данные, чтобы получать ценность и предоставлять более качественные аналитические выводы. С постоянно растущим числом распределенных наборов данных в различных областях, разнообразная информация поступает во все больших объемах и с высокой скоростью. Чтобы устранить препятствия и удовлетворить потребность в данных для операционных нужд в различных сценариях использования, лучший способ — это «сетка данных». Это означает соединение данных по принципу «точка-точка» и высвобождение данных для аналитики, машинного обучения, предоставления доступа к ресурсоемким приложениям в масштабах всей организации и многого другого. Data Mesh решает проблему недостатков традиционной централизованной архитектуры платформ озер данных и хранилищ данных. Парадигма Data Mesh основана на четырех принципах: 1. Ориентированное на предметную область владение данными 2. Данные как продукт 3. Данные доступны повсюду в рамках самообслуживаемой инфраструктуры данных 4. Стандартизация и управление данными Децентрализованная, агностическая структура данных позволяет синтезировать данные и внедрять инновации. Отправной точкой является принятие идеологии, согласно которой данные могут находиться где угодно. Данные, согласованные с источниками, должны служить продуктом, доступным для людей по всей организации, чтобы они могли объединять, исследовать и получать полезные аналитические данные. Жамак и Тим также обсуждают следующие шаги, которые необходимо предпринять для внедрения Data Mesh на отраслевом уровне. Чтобы узнать больше по этой теме, вы можете посетить совершенно новый курс Confluent Developer: Data Mesh 101. Confluent Developer — это единый ресурс, где вы найдете все необходимое для начала работы с Kafka. ССЫЛКИ НА ВЫПУСКИ ► Основной доклад Жамака Дехгани на Kafka Summit Europe 2021: Как построить основу Data Mesh:    • Zhamak Dehghani | Kafka Summit Europe 2021...   ► Курс Data Mesh 101: https://cnfl.io/data-mesh-101-course-... ► Лучшие практики Saxo Bank для распределенной архитектуры, основанной на Data Mesh: https://cnfl.io/distributed-domain-dr... ► Размещение Apache Kafka в центре революции данных в Saxo Bank: https://cnfl.io/placing-apache-kafka-... ► Почему Data Mesh?: https://developer.confluent.io/podcas... ► Присоединяйтесь к сообществу Confluent: https://cnfl.io/join-confluent-commun... ► Узнайте больше с помощью руководств, ресурсов и материалов по Kafka на Confluent Developer: https://cnfl.io/visit-confluent-devel... ► Живая демонстрация: Введение в событийно-ориентированные микросервисы с Confluent: https://cnfl.io/event-driven-microser... ► Используйте промокод PODCAST100, чтобы получить дополнительные 100 долларов США бесплатного использования Confluent Cloud: https://www.confluent.io/confluent-cl... ► Подробности промокода: https://www.confluent.io/confluent-cl... О КОМПАНИИ CONFLUENT Confluent является пионером в создании принципиально новой категории инфраструктуры данных, ориентированной на данные в движении. Облачное решение Confluent — это базовая платформа для данных в движении, разработанная как интеллектуальная связующая нить, позволяющая постоянно передавать данные в режиме реального времени из множества источников по всей организации. С помощью Confluent организации могут выполнить новую бизнес-задачу по предоставлению богатого цифрового взаимодействия с клиентами и перейти к сложным, управляемым программным обеспечением операциям в режиме реального времени на бэкэнде. Чтобы узнать больш...