В преддверии выпуска Linux Kernel 6.9, Давид Стерба из компании SUSE представил обновления для файловой системы Btrfs, которые включают в себя не только улучшение стабильности и исправление ошибок, но и оптимизацию производительности.

Нововведения в производительности Btrfs

Среди ключевых оптимизаций производительности Btrfs в Linux 6.9, Стерба выделяет следующие улучшения:

• Ускорение логирования: незначительное ускорение ведения журнала, когда повторно выделяемая структура предварительно выделяется только один раз, что уменьшает задержку и уменьшает конфликт блокировок.

• Повышение пропускной способности: незначительное увеличение пропускной способности (+6%), уменьшение конфликтов блокировок после очистки битов отложенного выделения, применимо к нескольким распространённым типам рабочих нагрузок.

• Пропуск полного пересчета квот: Если в той же транзакции добавляется новая связь, то полный пересчет квот может быть пропущен.

Эти оптимизации не только улучшают общую производительность Btrfs, но и делают её использование более эффективным в различных сценариях работы.

Дополнительные улучшения BTRFS

В дополнение к упомянутым оптимизациям, Btrfs в Linux 6.9 получит исправление для сжатия Zstd, улучшения в отладочном коде, повышение качества обработки ошибок, подготовку к более детальному разделению блокировок секторов и рефакторинг кода. Все эти изменения направлены на усиление стабильности, безопасности и производительности файловой системы.

>>> Подробности

На habr.com опубликовано новое интервью с разработчиком Reiser4 Эдуардом Шишкиным в формате вопрос-ответ.

>>> Ссылка на интервью

В десктопных спинах Fedora, уже сейчас использующих по умолчанию файловую систему Btrfs, планируют по умолчанию включить прозрачное сжатие данных при помощи библиотеки Zstd от Facebook. Речь идёт о будущем релизе Fedora 34, который должен появиться в конце апреля. Помимо экономии дискового пространства прозрачное сжатие данных так же призвано уменьшить износ SSD и прочих флеш-накопителей. Кроме того, ожидается прирост в производительности при чтении и записи.

Использование прозрачного сжатия будет иметь влияние и на работу некоторых утилит, таких как du, поскольку размер файла может существенно отличаться от занимаемого им дискового пространства. В качестве альтернативы предлагаются к использованию утилиты вроде compsize.

>>> Подробности

Одним из изменений, планирующихся в Fedora 34, будет использование dnf-plugin-cow, ускоряющего работу DNF/RPM за счёт техники Copy on Write (CoW), реализуемой поверх файловой системы Btrfs.

( читать дальше... )

Ожидаемое увеличение производительности - на 50%. Более точные данные появятся в январе.

>>> Подробности

Пользователь реддита сообщил о замедлении операций ввода-вывода на его системе с btrfs, после обновления ядра до версии 5.10.

Я нашел очень простой способ воспроизвести регрессию, а именно извлечение огромного тарбола, например: tar xf firefox-84.0.source.tar.zst. На моем внешнем, USB3 SSD на Ryzen 5950x это заняло вместо ~15s на ядре 5.9, до почти 5 минут в 5.10! Чтобы исключить фрагментацию файловой системы, я также протестировал совершенно новый, ранее не использовавшийся SSD PCIe 4.0 емкостью 1 ТБ, с похожей, хотя и не такой шокирующей регрессией от 5.2s до колоссальных ~34 секунд или ~650% в 5.10 :-/.

Похоже, это связано с недавней активностью в драйвере btrfs.

Сообщение о регрессии в списке рассылки linux-btrfs.

>>> Подробности

Проект Fedora анонсировал проведение «Test Week» (недели тестирования). Мероприятие продлится с 31 августа по 07 сентября 2020 года.

В рамках «Test Week» все желающие приглашаются протестировать следующий релиз Fedora 33 и отправить результаты разработчикам дистрибутива.

Для тестирования необходимо установить систему и выполнить несколько стандартных операций. Затем необходимо отчитаться о результатах через специальную форму.

Согласно wiki мероприятия, тестирование допускается проводить в виртуальной машине. Для тестирования доступны сборки архитектур x86 и aarch64.

Основной акцент предстоящей недели сделан на Btrfs. В Fedora 33 эта файловая система будет предлагаться установщиком по умолчанию. В предыдущих версиях Fedora по умолчанию предлагалась файловая система ext4.

В числе особенностей Btrfs по сравнению с ext4, стоит отметить следующие:

• Copy-on-write. В случае с файловой системой ext4, новые данные записываются поверх старых. Btrfs позволяет записывать новые данные, оставляя старые данные в неприкосновенности. Благодаря этому появляется возможность восстановить систему или данные в случае сбоя.

• Snapshots. Эта технология позволяет сделать “снимок” файловой системы для последующего отката изменений.

• Subvolumes. Файловая система Btrfs может быть разбита на так называемые subvolumes (субтома).

• Поддержка компрессии, что позволяет не только сжимать файлы, но так же снизить число обращений к диску.

Анонс:
https://fedoramagazine.org/contribute-at-the-fedora-test-week-for-Btrfs/

Русскоязычная поддержка: в Matrix-чате #russianfedora:matrix.org

>>> Подробности

Представлен релиз операционной системы ReactOS 0.4.10, нацеленной на обеспечение совместимости с программами и драйверами Microsoft Windows.

Это десятый выпуск после перехода проекта к более оперативному формированию релизов с периодичностью раз в три месяца. Вот уже 21 год эта операционная система находится на «альфа»-стадии разработки. Для загрузки подготовлены установочный ISO-образ (112 Мб) и Live-сборка (79 Мб). Код проекта распространяется под лицензиями GPLv2 и LGPLv2.

Всего после выпуска предыдущей версии 0.4.9 было исправлено более 148 багов.
Комьюнити чейндж-лог | Список устраненных ошибок | Тесты ПО для релиза 0.4.10

Главная новинка этого выпуска — внедрение поддержки файловой системы BTRFS! В самой ОС поддержка Btrfs на базе свободного драйвера WinBtrfs была добавлена ещё в прошлом году, а теперь был так же был модифицирован код загрузчика Freeloader и инсталлятора для доступа к содержимому разделов с Btrfs при старте или установке системы. В процессе разработки в драйвер WinBtrfs были внесены улучшения и отправлены в апстрим. Также в ReactOS поддерживаются полностью FAT12/16/32, Ext2, Ext3, Ext4, NFS, и только на чтение — NTFS, ReiserFS, FFS.

Повышена стабильность работы ОС, устранены некоторые ситуации приводившие к BSOD;

Улучшен компонент системы необходимый для корректного извлечения информации о системе из BIOS, которая теперь используется в выводе утилиты dxdiag;

В файловом менеджере появились опции для настройки отображения каталогов, открытия каталога в новом или текущем окне, настройки операций при одинарном и двойном клике;

Расширены возможности пользовательской оболочки и связанной с ней библиотеки shell32. Добавлена возможность перемещения файлов в режиме drag&drop из файлового менеджера в командную строку (копируется полный путь к файлу).

Часть основных нововведений можно увидеть на видео, которое подготовили волонтеры проекта.

>>> Пресс-релиз

Разработчики свободной операционной системы ReactOS, нацеленной на обеспечение совместимости с программами и драйверами Microsoft Windows, сообщили о внедрении возможности загрузки с дискового раздела с файловой системой Btrfs. Поддержка монтирования разделов Btrfs в ReactOS ОС на базе свободного драйвера WinBtrfs была добавлена ещё год назад. Однако, теперь был создан загрузочный сектор для раздела с BTRFS и мини-драйвер для загрузчика FreeLoader, позволяющий в read-only режиме читать файлы с раздела BTRFS.

Внедрение поддержки установки и загрузки ReactOS с BTRFS ведет Виктор Переверткин в рамках программы Google Summer of Code 2018.

Потребовалось решения ряда всплывших в процессе разработки сложностей:

• обход ошибки в VirtualBox, мешавшей загрузке. Как выяснилось, в реализации прерывания INT 13h AH=42h есть какие-то проблемы, из-за которых эта функция не может читать более 8 секторов за раз.
• В драйвере WinBtrfs закрался баг, связанный с обработкой масок, начинающихся на звездочку. Winsxs часто использует функцию NtQueryDirectoryFile для поиска манифестов по маске, что приводило к ошибке и прерыванию процесса запуска.

После преодоления указанных сложностей загрузка ReactOS с использованием Btrfs смогла работать относительно стабильно.

Оставшееся время в рамках GSOC 2018 Виктор планирует потратить на решение других проблем в драйвере для Btrfs, таких как:

• использование файла подкачки на Btrfs-разделах,
  
• утечки памяти при некоторых операциях записи (до сих пор не удаётся установить Git на раздел с Btrfs)
  
• падение системы в процессе завершения работы.

Слияние наработок по BTRFS в рамках GSOC 2018 с основной веткой проекта должно предположительно произойти во время очередного ежегодного ReactOS-хакфеста в августе 2018. В дальнейшем, проект планирует перейти с FAT на BTRFS, как на основную файловую систему, до момента пока не будет доработан драйвер для NTFS. Включение загрузки с BTRFS внесено в предварительный план ближайшего релиза ReactOS под номером 0.4.10

Проект заинтересован в переходе на именно BTRFS из-за того, что WinBtrfs является наиболее продвинутым свободным драйвером альтернативной FS под Windows, возможностей FAT уже начинает не хватать, а собственный свободный драйвер NTFS еще не готов.
Кроме BTRFS ReactOS также поддерживает несколько других файловых систем:

1. только «на чтение» - NTFS, ReiserFS, FFS/UFS, UDFS, CDFS;
   
2. на «чтение-запись» - FAT12/16/32, Ext2/3/4, и NFS

>>> еженедельный блог-пост студента GSOC 2018

Доступен новый выпуск операционной системы ReactOS 0.4.1, нацеленной на обеспечение совместимости с программами и драйверами Microsoft Windows. Новая версия подготовлена спустя три месяца после релиза 0.4.0 и отметила переход к более оперативному формированию релизов, которые теперь будут выходить не раз в год, а значительно чаще. Размер установочного iso-образа 115 Мб.

В этом релизе:

• Патч для проблем связанных с контекстом активации.
• Кумулятивный полугодовой апдейт драйвера ATA-устройств UniATA.
• Дебют поддержки файловой системы btrfs.
• Фиксы нескольких серьезных регрессий, влиявших на работу программ PowerPoint Viewer, Word Viewer, FastStone Image Viewer.
• Поддержка сетевых шар VirtualBox и VMWare.
• Фиксы стека USB, теперь количество падений из-за него должно уменьшиться.
• Новые, улучшенные нескучные иконки в explorer.exe.
• Прочие баг-фиксы в количестве более 140 штук.

>>> Официальная новость

Сегодняшний релиз Red Hat Enterprise Linux 6.8 принёс немного разочаровывающих, но предсказуемых новостей.

Файловая система Btrfs объявлена устаревшей в рамках ветки RHEL 6.x из-за нарастающих сложностей с бэкпортированием исправлений в ядро 2.6.32. Беглый поиск по темам ЛОРа также может пролить свет на другие проблемы данной ФС. Btrfs была разработана корпорацией Oracle в качестве альтернативы ZFS, в 2014 году помечена как стабильная в ядре Linux.

eCryptfs также объявлена устаревшей в связи с отсутствием обновлений, несмотря на продолжающуюся поддержку текущего кода в ядре. eCryptfs — ФС-надстройка, прозрачно шифрующая содержимое директории, хранящейся на любой другой файловой системе.

В терминологии RHEL, статус «устаревшей» технологии означает продолжение поддержки оной в рамках ветки до конца жизни ветки. Однако, «устаревший» функционал не будет доступен в рамках расширенной поддержки и не рекомендуется к дальнейшему использованию в рамках ветки RHEL 6.x.

>>> Подробности

Выпущена очередная версия утилит для обслуживания накопителей данных с файловой системой btrfs. Список новшеств и изменений таков:

• Сборка переведена на autotools.
• btrfs-image:
  • Операция «restore» теперь умеет выполняться многопоточно.
  • Исправлено поведение restore при восстановлении ФС из нескольких образов, снятых с нескольких устройств, на одно устройство.
  • Введен формат metadump версии 2.
• check: для команды make опции --init-csum-tree и --init-extent-tree могут работать совместно.
• find-new: возможность поиска всех метаданных если корень ФС уже найден.
• convert: по умолчанию показывает ход конвертирования, теперь доступна опция --no-progress (в 3.19.1) для возврата к прежнему поведению. Также в версии 3.19.1 появилась возможность явно задать размер блока метаданных при конвертировании ФС.
• corrupt-block: возможность работать с заданным корнем.
• добавлен скрипт для bash-completion ко всем командам.

Также с версии 3.19.1 команда fi usage теперь показывает правильное количество дискового пространства для разделов, смонтированных в режиме degraded.

>>> Подробности

Крис Мэйсон (Chris Mason), автор файловой системы Btrfs, сообщил об интеграции в основной git-репозиторий проекта экспериментальной реализации RAID5 и RAID6, встроенной в Btrfs. Поддержка RAID5/6 доступна для тестирования в рамках ветки raid56-experimental, созданной как для компонентов Btrfs уровня ядра, так и для набора утилит btrfs-progs.

( читать дальше... )

>>> Подробности

Матиас Экерман (Matthias Eckermann), старший управляющий выпусками в SUSE, выразил мнение, что новая файловая система уже готова для повсеместного применения. Она официально поддерживается в SUSE начиная с версии 11SP2. Пользователям предлагается на выбор несколько файловых систем для различных нужд, в общем случае можно использовать проверенную временем ext3, однако в примечаниях к выпуску предлагается использовать btrfs для корневого раздела, а для данных — xfs.

SUSE является одним из основных разработчиков btrfs, по словам Экермана они придерживаются следующей стратегии: в первую очередь стабильность и только затем расширенные возможности и производительность. «Заплатки» подвергаются всестороннему тестированию и применяются только если соответствуют всем стандартам качества SUSE. На данный момент в SLE используется ядро версии 3.0.10 с различными «заплатками» и ретроподдержкой.

>>> Подробности

В мае 2011 года, в расширенном докладе Майкла Рубина, занимающегося системами хранения данных в Google, прозвучал подробный сравнительный обзор современных файловых систем, в котором, кроме перечисления их преимуществ и недостатков, были даны и некоторые прогнозы о будущем развитии и потребностях информационной индустрии в этой сфере.

В частности, была рассмотрена способность существующих файловых систем (ФС) адаптироваться к вызовам уже ближайшего будущего (к так называемому зетта-наводнению данными), в связи с чем, из всех ФС экспертами были выделены четыре ведущие файловые системы, изначально спроектированные с учетом удовлетворения самых взыскательных требований и запросов. Вот краткий перевод этого доклада Google по каждой из отобранных ФС:

• Введение;
• Описание и общие характеристики ZFS;
• Описание и общие характеристики btrfs;
• Описание и общие характеристики HAMMER;
• Описание и общие характеристики XFS;
• Сравнение этих ФС и общий практический вывод.

>>> Подробности

После обсуждения идеи переноса части компонентов корневой системы в /usr и объединения /sbin и /bin принято решение об утверждение планов по реализации первой идеи. Вторая идея одобрения не нашла. Обновленная структура корня будет выглядеть приблизительно следующим образом:

• /usr - установленная система; общедоступно; возможность монтирования в режиме только чтения;
• /etc - конфигурационные данные; локально;
• /var - долговременные данные; локально;
• /run - переменные данные; локально; обязательно использование tmpfs;

 /
 |-- etc
 |-- usr
 |   |-- bin
 |   |-- sbin
 |   |-- lib
 |   `-- lib64
 |-- run
 |-- var
 |-- bin -> usr/bin
 |-- sbin -> usr/sbin
 |-- lib -> usr/lib
 `-- lib64 -> usr/lib64

О преимуществах данного решения можно подробнее прочитать в предыдущей новости.

Так же принято решение об очередной попытке перехода на Btrfs в качестве основной ФС. По сравнению с прошлым планом дополнительно заявлено о решении использовать стандартные для Btrfs механизмы управления томами, вместо LVM, и организации RAID.

В зависимости от степени готовности данных изменений перед заморозкой кода дистрибутива, планы по их реализации могут быть отложены.

Подробности:

О переходе на Btrfs

>>> О переносе компонентов из корня в /usr

Аналитики Phoronix.com произвели серию тестов различных файловых систем в Ubuntu 10.04. Для поддержки файловой системы ZFS в Ubuntu 10.04 LTS использовался модуль разработанный компанией KQ Infotech. В отличие проекта разрабатываемого по заказу LLNL модуль KQ Infotech поддерживает ZFS Posix Layer (ZPL), поэтому можно работать с файлами с помощью обычного файлового менеджера.

Вот какие результаты были получены:

• В тесте Apache Benchmark v.2.2.11 самой производительной оказалась Ext4, а ZFS самой медленной
• SQLite v.3.6.19 самой производительной оказалась XFS, а ZFS самой медленной Правда ZFS в OpenIndiana b147 показала бо́льшую производительность чем XFS в Ubuntu 10.04 LTS
• В тесте Compile bench v.0.6 на сей раз самой производительной оказалась Ext4, чуть отстала Btrfs, предпоследние место заняла ZFS, а самую худшую производительность показала XFS. ZFS в OpenIndiana b147 показала производительность меньше чем Btrfs, на больше чем ZFS в Ubuntu 10.04 LTS
• В тесте I/O Zone v.3.347 при размере файлов 64k лучшую производительность показала Btrfs, а худшую ZFS
• В тесте I/O Zone v.3.347 при размере файлов 4k теперь ZFS на втором месте, Btrfs снова в лидерах, а на последнем месте оказалась XFS
• В тесте FS-Mark v.3.3 в лидерах Ext4, на втором месте ZFS, а Btrfs показала худший результат
• В тесте Threaded I/O Tester v.0.3.3 теперь в лидерах ZFS, Btrfs показала чуть худший результат, а на последнем месте оказалась Ext4

>>> Подробности

Btrfs разрабатывается уже больше года, в связи с чем разработчики решили подвести промежуточные итоги, сделать выводы и расставить приоритеты в её дальнейшем развитии. Если вы имеете удачный или не очень опыт использования Btrfs, используете её сейчас, а может быть, принципиально не станете использовать, но у вас есть мнение насчёт Btrfs или пожелания проекту — разработчики этой файловой системы будут рады об этом узнать. По ссылке предлагается пройти короткий тест, с помощью которого можно поделиться своим мнением и помочь проекту.

>>> Пройти тест

Аналитики Phoronix.com произвели серию тестов различных файловых систем. Выигрыш файловой системы BtrFS во всех тестах виден невооруженным глазом. Например, в одном из тестов I/O Tester файловая система BtrFS обогнала ZFS более чем на порядок. В тесте Postmark BtrFS показала в 3 раза лучшую производительность, чем ZFS. В тесте Compile bench BtrFS обогнала ZFS всего на десятые доли процентов. И только в I/O Tester при количестве потоков, равном 4, ZFS вырвала пальму первенства у BtrFS (отставание BtrFS от ZFS составило около 30%).

Файловая система BtrFS разрабатывается компанией Oracle и в скором времени может занять место основной файловой системы как в мобильных устройствах, так и в высоконагруженных серверах под управлением операционных систем на базе Linux-ядра. Например, Intel и Nokia уже выбрали BtrFS в качестве файловой системы, используемой по умолчанию в MeeGo.

>>> Подробности

Эдуард Шишкин - один из разработчиков Reiser4, на данный момент является сотрудником RedHat. Эдуард опубликовал на lkml результаты тестирования и ревью исходного кода входящей в состав ядра linux-2.6.33 файловой системы Btrfs.

Было обнаружено следующее:

• При заполнении пустого 659-мегабайтного раздела Btrfs файлами размером в 2 килобайта, лишь 17% дискового пространства отводится под собственно содержимое файлов, а оставшиеся 83% Btrfs расходует на свои служебные данные.
• Столь низкая эффективность использования дискового пространства, похоже, является фундаментальным свойством тех алгоритмов, которые положены в основу Btrfs. А именно, Btrfs пытается хранить блоки переменного размера («inline extents», xattr, и тд) в структуре данных «B-tree». Однако B-tree предоставляет гарантии эффективного использования памяти лишь для блоков постоянного размера.

Несмотря на то, что первое сообщение было опубликовано в начале июня, переписка между Эдуардом Шишкиным и разработчиком Btrfs Крисом Мейсоном продолжнается на lkml и по сей день. Приятного чтения!

>>> Подробности

Аналитики Phoronix.com произвели серию тестов различных файловых систем, поддерживаемых ядром Linux 2.6.30. В тестировании также участвовала новоприбывшая журнально-структурированная NILFS2, которая хорошо проявила себя в тестах Dbench и SQLite.

>>> Подробности по ссылке