Meta представляет OpenZL: новую платформу для сжатия данных с открытым исходным кодом

Meta, компания, стоящая за Facebook, представила OpenZL (https://openzl.org/), новую систему сжатия данных с открытым исходным кодом. По сути, это программная система, которая уменьшает размер файлов с данными, чтобы они занимали меньше места и быстрее передавались по сетям, при этом информация не теряется.

Отличительной особенностью OpenZL является то, что он предназначен для работы со структурированными данными, такими как базы данных, таблицы и другая хорошо организованная информация. Вместо того чтобы рассматривать каждый файл как длинную последовательность байтов, OpenZL анализирует внутреннюю структуру данных — например, столбцы, числа или повторяющиеся шаблоны — и использует эти знания для более эффективного сжатия данных.

В результате получается сжатие без потерь, то есть исходные данные можно полностью восстановить. По производительности оно сравнимо с форматно-зависимыми компрессорами, но использует только один исполняемый файл. Другими словами, вам не нужны разные инструменты для каждого типа файлов. Со всем можно справиться с помощью одного универсального декомпрессора, что упрощает обслуживание и повышает безопасность.

Meta заявляет, что OpenZL — это ответ на ограничения существующих компрессоров, таких как Zstandard (также разработанный Facebook). Zstandard уже обеспечивает высокую скорость и хорошие коэффициенты сжатия, но это всё же инструмент общего назначения, который не в полной мере использует структуру современных наборов данных. OpenZL, напротив, сочетает высокую скорость с более глубоким пониманием форматов данных.

Разработчики могут описать структуру своих данных с помощью небольшой схемы или простого языка описания данных, а встроенный в OpenZL «тренер» автоматически подбирает оптимальный план сжатия. Этот план можно использовать повторно для схожих наборов данных, что экономит время и обеспечивает согласованность.

Сравнение OpenZL на процессоре M1 с использованием clang-17

Как видно из приведённой выше таблицы, первые тесты показывают впечатляющие результаты. При сжатии структурированных данных, таких как файл «sao» из Silesia Compression Corpus, OpenZL достиг коэффициента сжатия 2,06, опередив xz (1,64) и zstd (1,31), а также работал быстрее — 340 МБ/с при сжатии и 1,2 ГБ/с при распаковке на чипе Apple M1.

OpenZL также может адаптироваться с течением времени. Он поддерживает автоматическое переобучение и корректировку во время выполнения, поэтому стратегии сжатия могут меняться по мере изменения данных — без нарушения совместимости. Эта гибкость основана на внутренней системе управляемого сжатия Meta, которая изначально использовалась с Zstandard в инфраструктуре Facebook, а теперь доступна сообществу разработчиков с открытым исходным кодом.

Разработчики и исследователи могут опробовать OpenZL уже сегодня. Исходный код, документация и краткое руководство по началу работы доступны на GitHub, а также технический документ с подробным описанием конструкции и результатов тестирования.

Для получения дополнительной информации см. объявление: https://engineering.fb.com/2025/10/06/developer-tools/openzl-open-source-format-aware-compression-framework/.

Редактор: AndreyEx