Михаил Иванов — Что такое metastore и с чем его едят

Подробнее о конференции SmartData: https://jrg.su/aTWU2K — — Скачать презентацию с сайта — https://jrg.su/ApLkVF Metastore — это ключевой компонент любой современной платформы данных, который отвечает за управление метаданными. Без него работа с большими данными становится неэффективной и сложной, так как метаданные играют роль «карты» для навигации. Расскажу, что такое metastore, какие задачи он решает. Затронем, как metastore интегрируется с такими компонентами, как Compute-движки, объектные хранилища и системы управления доступом. Существует множество популярных решений класса metastore, каждое из них имеет свои особенности. В докладе рассмотрим популярные решения на рынке и проанализируем их сильные и слабые стороны. В нашей команде мы столкнулись с требованиями, которые существующие решения не могли полностью удовлетворить, поэтому решили разработать собственный metastore. Уделим внимание нашему опыту: какие задачи стояли перед metastore, как он устроен, с какими сложностями мы столкнулись при его создании, как реализованы интеграции с другими компонентами платформы. Поделюсь инсайтами и архитектурными решениями. Metastore — не просто «скучный» инструмент для хранения метаданных. Это важнейший элемент, определяющий удобство и эффективность работы с данными. Выбор правильного решения или разработка собственного metastore могут стать ключевым фактором успеха в реализации проектов больших данных. Я надеюсь, что мой доклад поможет вам лучше понять, как правильно подходить к выбору и использованию этого инструмента.