За пределами Zstandard: будущее сжатия данных — Ян Колле, Meta

Присоединяйтесь к нам на ведущей независимой от поставщиков конференции по открытому исходному коду, где разработчики и технологи собираются вместе, чтобы сотрудничать, обмениваться знаниями и изучать последние инновации и достижения в области технологий с открытым исходным кодом. Узнайте больше на https://events.linuxfoundation.org/ За пределами Zstandard: будущее сжатия данных — Янн Колле, Meta Спустя десять лет после того, как Zstandard переосмыслил универсальное сжатие без потерь, традиционные алгоритмические улучшения теперь обеспечивают лишь незначительное улучшение коэффициента сжатия при постоянно растущих затратах на ЦП. Мы представляем OpenZL, который преодолевает этот тупик, моделируя компрессор как динамически конфигурируемый граф проверенных строительных блоков. Результат соответствует — или превосходит — коэффициенты сжатия специализированных кодеков, сохраняя при этом более высокую пропускную способность, и все это благодаря единому универсальному декодеру и унифицированной, защищенной кодовой базе. В этом докладе мы: 1. Объясним архитектуру и структуру графа, а также то, как оптимизатор собирает блоки в эффективный компрессор, специфичный для конкретного набора данных. 2. Представим результаты бенчмарков для столбцовых, сериализованных схем, вычислений с плавающей запятой и бинарных блобов, демонстрируя соотношение и скорость по сравнению с Zstandard и специализированными кодеками. 3. Обсудим преимущества в эксплуатации — единый пакет для выпуска, гибкие параметры развертывания, частные расширения, а также упрощенный аудит и обслуживание. 4. Изложим дорожную карту открытых спецификаций и пригласим членов Linux Foundation принять участие в формировании выпуска 1.0.