DAXFS — файловая система с общей памятью и нулевым копированием для Linux

Конг Ванг, разработчик ядра в Multikernel, представил новую файловую систему Linux под названием DAXFS в списках рассылки ядра Linux. Как следует из названия, DAXFS построена на инфраструктуре прямого доступа (DAX) ядра Linux, которая позволяет файловым системам напрямую обращаться к общей физической памяти без использования традиционного стека блочного ввода-вывода.

Согласно объявлению, в отличие от хорошо известных файловых систем RAMFS или TMPFS, которые используют кэш страниц и выделяют память для каждого экземпляра, DAXFS отображает непрерывные области физической памяти непосредственно в файловой системе. При чтении файлов происходит прямая загрузка из памяти, что снижает нагрузку на память в средах, где идентичные данные, доступные только для чтения, в противном случае дублировались бы в оперативной памяти.

Новая файловая система предназначена для поддержки памяти, экспортируемой графическими процессорами, FPGAs или устройствами, подключёнными через CXL, через API dma-buf, что обеспечивает доступ только для чтения к данным, хранящимся непосредственно в памяти устройства. Это делает её подходящей для таких рабочих нагрузок, как веса моделей, размещённых на ускорителях, или большие таблицы поиска, для которых полезен доступ без копирования.

DAXFS намеренно имеет минимальный функционал. Она использует автономный формат образа только для чтения и не требует выделения ресурсов во время выполнения, сложного управления метаданными и логики обработки устройств.

Ванг описал несколько вариантов использования, которые тесно связаны с тем, что Multikernel ориентирован на системные архитектуры с общей памятью. К ним относятся совместное использование общего контейнера или базового образа Docker независимыми экземплярами ядра, использование общей памяти вместо передачи данных по сети в сценариях объединения памяти CXL, сокращение использования оперативной памяти за счёт объединения общего базового образа DAXFS с OverlayFS для контейнеров, а также предоставление доступа без копирования к статическим данным, хранящимся в памяти ускорителя.

Код находится в открытом доступе, поскольку автор подчеркнул, что DAXFS — это экспериментальное предложение. Дальнейшее включение в основную ветку будет зависеть от дальнейшего обсуждения и рассмотрения в сообществе разработчиков ядра Linux.

Дополнительную информацию можно найти в сообщении в рассылке по ядру.

Редактор: AndreyEx