Вышла новая версия файловой системы OpenZFS 2.1.6 для платформ Linux и BSD.
Новая версия теперь работает с ядрами Linux от 3.10 до Linux 5.19, и FreeBSD, начиная с версии 12.2, также имеет несколько первоначальных исправлений для изменений ядра, обнаруженных в недавно выпущенной Linux 6.0.
В OpenZFS 2.1.6 также есть различные исправления для платформы FreeBSD, несколько оптимизаций отсортированной очистки, улучшения спекулятивной предварительной выборки и различные другие мелкие улучшения.
Несмотря на то, что в ядро SquashFS была включена лишь в 2009 году, работа над ней началась гораздо раньше. В честь двадцатилетнего юбилея с начала разработки, Phillip Lougher объявил новый релиз SquashFS-Tools.
Из нововведений:
Возможность определить «действия» по шаблону для отдельных файлов в mksquashfs. Например, добавить в архив без сжатия.
Команда sqfstar для преобразования Tar–архива в SquashFS.
Возможность ограничить загрузку процессора и дисковой подсистемы при работе mksquashfs.
Возможность задавать дату для псевдо–файлов, имитация ссылок, сокетов и потоков ввода–вывода.
Команда sqfscat, выводящая содержимое отдельных файлов из архива.
Поддержка символьных ссылок при распаковке SquashFS, возможность ограничить глубину обхода или исключить файлы по шаблону.
Выпущена первая версия сервера хранения данных с доступом по протоколу HTTP, предназначенная для решения проблемы большого количества маленьких файлов на файловых системах, в том числе кластерных.
Некоторые возможности:
многопоточность;
мультисерверность, обеспечивающая отказоустойчивость и сбалансированность нагрузки;
максимальная прозрачность для пользователя или разработчика;
поддерживаемые методы HTTP: GET, HEAD, PUT и DELETE;
управление поведением при чтении и записи через клиентские заголовки;
поддержка гибко настраиваемых виртуальных хостов;
поддержка целостности данных CRC при записи/чтении;
полудинамические буферы для минимального потребления памяти и оптимальной настройки сетевой производительности;
отложенная компакция данных;
как дополнение — многопоточный архиватор wZA для миграции файлов без остановки сервиса.
Продукт предназначен для смешанного применения, в том числе поддерживается работа с большими файлами без ущерба производительности.
Основное рекомендуемое направление использования на origin серверах и крупных хранилищах для значительного снижения количества метаданных в кластерных файловых системах и расширения их возможностей.
Никто не ожидал, что 31 декабря Эдуард Шишкин (разработчик и мантейнер ReiserFS 4) анонсирует новую версию одной из самых необычных файловых систем для Linux — ReiserFS 5.
Пятая версия предлагает новый метод объединения блочных устройств в логические тома.
Я считаю, что это качественно новый уровень в развитии файловых систем (и операционных систем) — локальные тома с параллельным масштабированием.
Reiser5 не содержит собственного уровня блочных устройств в стиле ZFS, он реализует его средствами файловой системы. Новый алгоритм распределения данных «Fiber-Striping» позволяет более эффективно компоновать логический том из устройств разного объёма и с разной пропускной способностью, в отличие от традиционной комбинации файловой системы и RAID/LVM.
Это и другие особенности Reiser5 должны обеспечить ей более высокий уровень производительности в сравнении с Reiser4.
Патч для ядра Linux 5.4.6 можно найти на SourceForge.
Обновлённая утилита Reiser4Progs с начальной поддержкой Reiser 5 там же.
Один из инженеров компании Microsoft объявил в блоге о добавлении в ядро Linux поддержки файловой системы exFAT. Также Microsoft опубликовала спецификацию на exFAT для разработчиков.
Состоялся релиз go-ipfs (эталонной реализации IPFS, написанной на языке Go) версии 0.4.18. Вероятно, это самый значительный релиз в недавней истории; на его подготовку ушло 3 месяца. Со времени предыдущей новости об IPFS на LOR прошло уже более четырёх лет.
IPFS (InterPlanetary File System) — это гипермедийный протокол и распределённая файловая система, созданная с использованием идей, реализованных в Git и BitTorrent, и нацеленная на то, чтобы заменить или дополнить существующий Web. IPFS похож на BitTorrent Swarm, ноды которого обмениваются объектами Git-репозитория. IPFS основан на идее адресации по содержимому — один и тот же блок данных всегда будет иметь один и тот же адрес, вне зависимости от его физического расположения. В отличие от BitTorrent, данные разбиваются на блоки по границе файла, таким образом один и тот же файл может быть переиспользован в разных каталогах без необходимости повторного выделения места на диске. В отличие от Freenet и Perfect Dark, ноды хранят только те данные, которые они явно запросили. IPFS способен интегрироваться с существующими системами разрешения имён — с классическим DNS в настоящее время, с Tor .onion, Namecoin .bit и возможно, некоторыми другими в будущем.
Особенности этого релиза:
Титульные особенности этого релиза — экспериментальная поддержка QUIC, новый алгоритм маршрутизации pubsub-сообщений, возможность подписывания pubsub-сообщений, а также переписанная команда ipfs p2p. Однако всё это лишь вершина айсберга.
Новая файловая система APFS от Apple, поддержка которой начала появляться во всех операционных системах компании с 27 марта 2017 года, успешно разобрана известным немецким исследователем в области информационной безопасности и digital forensics Йонасом Плюмом (Jonas Plum). Опубликованы первичные спецификации и библиотеки для работы с этой файловой системой. Разбор проводился с использованием Kaitai Struct, что автоматически позволило сгенерировать библиотеки для C++, C#, Java, JavaScript, Perl, PHP, Python, Ruby.
Работа Йонаса позволит в ближайшее время реализовать поддержку APFS в ОС, отличных от macOS/iOS, с помощью FUSE.
Напомним, что файловая система APFS является новой (и до сих пор закрытой) разработкой Apple, которая в перспективе должна полностью заменить используемую сейчас по умолчанию HFS+. В качестве основных преимуществ файловой системы заявляются более оптимальная работа с flash-накопителями и SSD, гибкая поддержка шифрования, поддержка sparse-файлов, встроенные средства контроля целостности ФС и параллелизации доступа.
Kent Overstreet, создатель и главный разработчик файловой системы (ФС) bcachefs, запустил кампанию по привлечению средств на дальнейшее развитие проекта. Мотивацию к созданию ещё одной файловой системы Кент извлекает из текущей плачевной ситуации с файловыми системами в Linux:
Выпущена очередная версия утилит для обслуживания накопителей данных с файловой системой btrfs. Список новшеств и изменений таков:
Сборка переведена на autotools.
btrfs-image:
Операция «restore» теперь умеет выполняться многопоточно.
Исправлено поведение restore при восстановлении ФС из нескольких образов, снятых с нескольких устройств, на одно устройство.
Введен формат metadump версии 2.
check: для команды make опции --init-csum-tree и --init-extent-tree могут работать совместно.
find-new: возможность поиска всех метаданных если корень ФС уже найден.
convert: по умолчанию показывает ход конвертирования, теперь доступна опция --no-progress (в 3.19.1) для возврата к прежнему поведению. Также в версии 3.19.1 появилась возможность явно задать размер блока метаданных при конвертировании ФС.
corrupt-block: возможность работать с заданным корнем.
добавлен скрипт для bash-completion ко всем командам.
Также с версии 3.19.1 команда fi usage теперь показывает правильное количество дискового пространства для разделов, смонтированных в режиме degraded.
GNU Direvent отслеживает события в директориях файловой системы. Для каждого события, происходящего в заданном наборе директорий, программа вызывает ассоциированную с ним внешнюю программу, сообщая ей информацию о событии и месте в файловой системе, где оно произошло.
GNU Direvent стал частью проекта GNU 20 августа 2014 г. До этого он назывался dircond.
Direvent предоставляет простой способ настройки вашей системы на немедленную реакцию в случае изменений в файлах. Это может пригодиться, например, для отслеживания изменений важных конфигурационных файлов.
Интерфейсы для отслеживания изменений в файловых системах весьма системоспецифичны. Цель Direvent — предоставление универсального и системонезависимого командного интерфейса. Заявлена работа на всех современных ядрах Linux и BSD-системах (FreeBSD, NetBSD, OpenBSD, Darwin).
Автор программы — украинский разработчик Сергей Позняков, участвовавший во многих других проектах GNU.
Идёт разработка распределённой файловой системы, опирающейся на уже проверенные технологии: BitTorrent, Git, Kademlia, также добавляя недостающую свою: «BitSwap».
Автор замахивается на «новую основу для веба», на основе продвинутых технологий, появившихся уже после HTTP.
Сегодня представлен мажорный релиз набора пользовательских утилит — xfsprogs 3.2.0.
За год с момента выхода предыдущей версии 17 разработчиков сделали более 300 коммитов, изменив около 30000 строк кода.
Основным новшеством выпуска является поддержка пятой версии дискового формата, включающего, помимо прочего, контрольные суммы для метаданных и повышение надёжности при восстановлении после сбоев.
Другие изменения:
улучшения в многопоточности для xfs_repair;
xfs_db переведён на использование библиотеки libxfs (общего движка для пакета утилит);
xfs_db теперь использует контрольные суммы для проверки целостности метаданных;
xfs_io поддерживает возможности, добавленные в linux с момента предыдущего релиза xfsprogs;
проведена работа по минимизации отличий кода libxfs и ядерной реализации.
Начиная с linux 3.15-rc5, пятая версия дискового формата признана стабильной и готовой для промышленного использования.
Также следует отметить отход от руководства разработкой компании SGI — оригинального разработчика XFS.
Вышла новая версия распределенной файловой системы GlusterFS 3.5, позволяющей организовать работу распределённого на несколько узлов хранилища, развёртываемого поверх POSIX ФС, например Ext4, XFS и Btrfs, с использованием механизма FUSE. GlusterFS предоставляет средства автоматического восстановления после сбоев и обеспечивает практически неограниченную масштабируемость, благодаря отсутствию привязки к централизованному серверу мета-данных. Готовые для установки бинарные пакеты с GlusterFS 3.5 подготовлены для Fedora, RHEL, CentOS, Debian, openSUSE, SLES и Ubuntu. Неполный список изменений:
Переработана архитектура системы геораспределённой репликации (Geo-Replication). Если раньше процесс репликации gsyncd выступал в качестве единой точки отказа, так как он запускался на одном узле кластера, выход которого из строя сулил прекращение geo-репликации, то в новой реализации репликация выполняется на всех узлах, обслуживающих раздел (каждый узел теперь отвечает за синхронизацию хранимых на нём данных). Для определения изменившихся файлов, для которых необходимо выполнить синхронизацию, теперь используется журнал изменений (changelog xlator). Кроме rsync добавлена поддержка нового метода синхронизации «tar+ssh», который может быть востребован в конфигурациях с большим числом мелких файлов.
Поддержка создания снапшотов отдельных файлов.
Возможность сжатия данных при передаче по сети.
Поддержка шифрования данных дисковых разделов на стороне сервера с использованием ключей, доступных только клиенту. Шифруется только содержимое файлов, имена и метаданные остаются незашифрованными. Кроме того, шифрование не применимо при использовании NFS.
Увеличено качество ведения логов, добавлено отображение дополнительной статистики и указание причин возникновения тех или иных событий, а также данных о том, какие файлы затрагивают данные события.
Новый метод прямого доступа к данным через GFID, позволяющий обратиться к данным в трансляторе изменений.
Уход от необходимости перезапуска NFS-сервера при изменении параметров раздела.
Расширение числа возможных конфигураций квот от нескольких сотен до 65536 для раздела.
Поддержка упреждающего чтения (readdir_ahead) списка директорий для увеличения производительности последовательного чтения директорий.
Поддержка операции zerofill для заполнения нулями новых образов виртуальных машин.
Корпорация Samsung готовит массу улучшений своей файловой системы F2FS. Они войдут в состав ядра Linux 3.15, выход которого запланирован на середину 2014 года.
Изменения включают в себя поддержку больших каталогов, улучшение производительности серверов, новые возможности для более тонкой настройки файловой системы через sysfs и множество исправленных ошибок.
В общей сложности, в Linux 3.15 войдет около тысячи новых строк кода, связанных с F2FS. В архиве рассылки можно найти подробное описание отправленного в воскресенье запроса о принятии указанных изменений в состав ядра. Кроме того, в основную ветку ядра уже добавлены изменения, связанные с Btrfs и EXT4, из чего следует, что в скором времени нас ожидают новые тесты производительности файловых систем.
XtreemFS 1.5 (под кодовым названием «Прекрасные Вафли») — это распределенная файловая система, позволяющая монтировать XtreemFS тома из любой точки интернета с учетом прав доступа. Она включает поддержку для POSIX ACLs и расширенные атрибуты (xattrs). Также она может быть интегрирована в инфраструктуру безопасности X.509.
Ключевые изменения:
Улучшена поддержка Hadoop, были добавлены буферы чтения и записи для увеличения производительности при малых запросах.
Добавлена поддержка SSD.
Добавлена многодоменная поддержка, XtreemFS теперь можно использовать для нескольких сетей и нескольких клиентов которым будет автоматически выдаваться правильный адрес.
Машины на которых несколько дисков могут запускать OSD для каждого диска. Для упрощения этого процесса были добавлены новые скрипты xtreemfs-osd-farm и init.d.
Исправления при репликации файлов в режимах Read/Write и Read-Only.
Добавлена страница состояния при репликации файлов, на странице состояния директории можно получить информацию о текущем состоянии репликации открытых файлов.
После длительного перерыва в разработке вышла версия 1.0 сетевой файловой системы, нацеленной на домашние NAS'ы. За время прошедшее с предыдущего релиза были сделаны следующие изменения:
Добавлена поддержка timeout'ов на разные операции, чтобы исключить «застревание» файловых операций на разорваном соединении.
Поддержка новой версии FUSE (>=2.8) позволило несколько упростить внутреннее устройство remotefs без потери производительности.
В конфигурации теперь можно указывать не только IP-адреса, но и имена хостов.
Исправлено несколько небольших ошибок.
Remotefs предназначена для людей, на чьём железе по каким-либо причинам не работает или работает плохо NFS, Samba, sshfs и т.д.
Для того, чтобы избежать проблем предшественников, в remotefs была заложена максимальная простота конструкции и способа реализации. Благодаря строгому следованию стандартам, remotefs собирается и работает на любой современной операционной системе.
Нацеленность на домашнее использование определила подход к небольшой оптимизации файловых операций: многопоточный доступ к файлам пожертвован в пользу последовательного доступа к одному файлу, как это происходит при копировании файлов либо просмотре фильма, прослушивании музыки и т.д.
Сервер remotefs использует не больше 384 килобайт памяти на соединение, и небольшую долю CPU (в неэкстремальных режимах), что позволяет обслужить достаточное количество одновременных соединений даже на дешёвом роутере с 16 мегабайтами памяти и обеспечить передачу закодированого 720p видео по WiFi.
Состоялся выход очередной версии порта файловой системы ZFS для ядра Linux. В этом выпуске пользователи обнаружат множество исправлений и несколько новых возможностей.
Новшества:
поддержка ядер 3.11;
скрипт arcstat.py для FreeNAS;
с FreeBSD перенесена команда zpool labelclear;
с Illumos перенесено сжатие L2ARC посредством алгоритма lz4;
оттуда же пересена поддержка нити I/O deadman;
SEEK_DATA/SEEK_HOLE для lseek()/llseek();
записываемые опции для модулей arc+l2arc;
улучшенное опознание дискового формата AF (Advanced Format);
повышена скорость чтения на зеркальных массивах;
улучшено отображение расширенных атрибутов SA в zdb;
поддержка GRSecurity/PaX для ядер 3.8+;
поддержка пользовательских неймспейсов для ядер 3.8+.
Исправлено:
потеря zvol при импорте;
обработка ошибок xattr;
переполнение ядерного стека;
зацикливание процесса arc_adapt;
зацикливание iterate_supers_type() при размонтировании;
зависание при размонтировании пулов, доступных только для чтения;
Брайан Белендорф, создатель Apache, представил публике новый выпуск kernel-модуля, обеспечивающего поддержку ZFS. - ZFSonLinux 0.6.1. Несмотря на минорный номер, эта версия позиционируется разработчиком как первый стабильный и полностью готовый для использования релиз.
Для упрощения установки подготовлены пакеты для множества дистрибутивов, включая Debian и RHEL (кроме того, ZFSonLinux уже включён в Gentoo и Sabayon).
Сообщается, что ZFSonLinux совместим с ZFS из состава FreeBSD 9.1 и 8.3 (т. к. оригинальный код ZFS подвергся небольшим изменениям).
В проекте реализована полноценная поддержка компонентов ZFS, связанных с работой файловой системы и менеджера томов, например SPA и DMU.
ZFSonLinux будет поставляться отдельно от ядра, так как распространяется по лицензии CDDL, которая несовместима с GPL2, используемой в ядре Linux (смешение лицензий недопустимо).
В этой версии также улучшена работа дисковых кэшей, добавлены man'ы для некоторых команд, реализована поддержка свойства «snapdev» (позволяющего управлять видимостью устройств снапшотов).
