Данил Кислов — Внутри метастора S3: эволюция современного хранилища метаданных

Подробнее о Java-конференциях: — весной — JPoint: https://jrg.su/gTrwHx — осенью — Joker: https://jrg.su/h7yvG4 — — Скачать презентацию с сайта — https://jrg.su/p2NU8Y Метастор в S3-совместимом хранилище — это сердце системы: он хранит все данные кроме содержания объектов, проводит через себя как объемную клиентскую нагрузку, так и тяжелые асинхронные фоновые операции по сбору статистики, выполнению правил жизненного цикла или обслуживанию внутренних структур. Мы прошли несколько итераций в развитии нашего метастора на базе Cassandra и готовы поделиться опытом разработки производительной распределенной системы на примере хранилища метаданных для S3. В докладе обсудим: Как эффективно сканировать миллиарды версий объектов, не перегружая систему. Как собирать статистику по бакетам в реальном времени. Как быстро искать пустые директории в метаданных с помощью фильтра Блума. Почему использовать Cassandra как очередь — плохая идея. Доклад будет полезен другим разработчикам S3-совместимых хранилищ и всем, кто проектирует высоконагруженные системы с большим объемом метаданных и асинхронной обработкой.