LINUX.ORG.RU
ФорумTalks

В OpenZFS выявлена ошибка, которая может привести к повреждению файлов

 , , ,


1

4
Доступен промежуточный выпуск проекта OpenZFS 2.2.1, развивающего реализацию файловой системы ZFS для Linux и FreeBSD. Выпуск примечателен добавлением поддержки ядра Linux 6.6 и попыткой устранения проблемы, приводящей к повреждению данных (обнулению части блоков) в файлах после их копирования.

Изначально предполагалось, что проблема проявляется только в ветке 2.2.x и вызвана ошибкой во включённом в OpenZFS 2.2.0 механизме клонирования блоков, позволяющем создать копию файла или его части без дублирования данных, используя во второй копии ссылки на уже существующие блоки данных исходного файла без их фактического копирования. В версии OpenZFS 2.2.1 для блокирования проблемы механизм клонирования блоков был отключён по умолчанию, а для возвращения поддержки данного режима добавлена настройка zfs_bclone_enabled.

Позднее разработчики заявили о воспроизведении проблемы и в конфигурациях с веткой OpenZFS 2.1.x. Не подтвердились и предположения, что проблема проявляется на системах со старыми выпусками пакета coreutils - ошибку удалось воспроизвести во FreeBSD и в Linux-дистрибутивах со свежим выпуском coreutils 9.4.

Повреждение файлов проявляется при достаточно редком стечении обстоятельств, например, выполнение в Gentoo команды "emerge -1 dev-lang/go" приводит к установке инструментария для языка Go с повреждением файлов в каталоге /usr/lib/go/pkg/tool/linux_amd64/compile. Предполагается, что ошибка начала проявляться после выставления по умолчанию параметра "zfs_dmu_offset_next_sync=1" в версии openzfs 2.1.4. Источник ошибки пока не выявлен. В качестве рекомендованного обходного пути блокирования ошибки предложено выставить в 0 параметр "/sys/module/zfs/parameters/zfs_dmu_offset_next_sync". 

https://www.opennet.ru/opennews/art.shtml?num=60167

EXT4-БОЯРЕ НА МЕСТЕ?



Последнее исправление: MoldAndLimeHoney (всего исправлений: 1)

Ответ на: комментарий от ox55ff

У вас своих глюков хватает

tiinn ★★★★★
()
Ответ на: комментарий от ox55ff

Тут таконо нет.

А у вас и данных нет =Р

emerge -1 dev-lang/go

go не нужен. Проблема исчерпана.

GAMer ★★★★★
()

Никогда не понимал, какой смысл в этих альтернативных ФС. Экст4 чем не нравится, недостаточно илитно что-ли?

yu-boot ★★★★
()

В свежерелизнутой 14-й фряхе vfs.zfs.bclone_enabled по дефолту 0. Если руками не включить, то можно спать спокойно.

iron ★★★★★
()
Ответ на: комментарий от yu-boot

Никогда не понимал, какой смысл в этих альтернативных ФС. Экст4 чем не нравится, недостаточно илитно что-ли?

Смысл в киллер-фичах которые они предлагают, если они необходимы.

А вообще лучшая ФС - фат32.

windows10 ★★★★★
()

EXT4-БОЯРЕ НА МЕСТЕ?

ext4-бояре на покое

t184256 ★★★★★
()

EXT4-БОЯРЕ НА МЕСТЕ?

В доме престарелых?

theNamelessOne ★★★★★
()
Ответ на: комментарий от yu-boot

Нету еще одного способа создать программный недорейд5/недорейд6, сэкономив 3 коупейки на контроллере.

Нет способа сэкономить 3 копейки на диске с помощью дедупа и/или недокопирования файлов из оппоста.

На самом деле, при ближайшем рассмотрении всех киллерфич zfs, в продакшене все они работают херово. А восстановление данных с битого массива вообще возможно примерно никак, в отличии от старых лоховских ntfs и ext4.

harbinger
()
Ответ на: комментарий от yu-boot

Вы не понимаете «Это, другое» :)

anc ★★★★★
()
Ответ на: комментарий от wandrien

Ты теперь за мной из треда в тред бегать будешь? Вот уж нефанатик так нефанатик

И да, что такого фанатичного в фразе «EXT4 не нужна»?

hateWin ★☆
()
Ответ на: комментарий от hateWin

Под работают подразумевается не только работа в штатном режиме, но и в восстановлении при крэше.

anc ★★★★★
()
Ответ на: комментарий от wandrien

Да не, просто удачно зашел. Я вообще везучий.

Хороший маневр

Так что там на счет моего вопроса?

hateWin ★☆
()

свои флешки перевёл на udf, посмотрю как оно.

Gennadevich
()
Ответ на: комментарий от anc

но и в восстановлении при крэше

Если побился сам диск, то кроме fat32 и ntfs разве что-то восстанавливают? Я просто подобного софта для онтопиковых ФС не видел ни разу.

yu-boot ★★★★
()
Ответ на: комментарий от dataman

Зачем, где это даст профит ощутимый? Не срача ради. Место нынче дёшево даже на SSD. А дополнительная обработка и упаковка инфы усложняет всю систему и может икнуться при авариях там, где на ext4/ntfs/xfs/jfs оно «ниже пола не упадёт».

yu-boot ★★★★
()
Ответ на: комментарий от harbinger

всех киллерфич zfs, в продакшене все они работают херово

thin provisioning, рейды, сжатие, zvol, СНАПШОТЫ! с бэкапами по send/recv использую вовсю и всё прекрасно работает.

GAMer ★★★★★
()
Ответ на: комментарий от u5er

Если у вас такие задачи, то просто используйте xfs для них, но большинство пользователей с этим никогда не столкнется.

MoldAndLimeHoney
() автор топика
Ответ на: комментарий от GAMer

снапшоты провижнинг

Есть в lvm

сжатие

Зачем? Ну, единственный кейс, который можно придумать - если у тебя поверх ФС лежит хадуп с кучей однотипных данных в паркете или csv. Для менее сжимающихся данных проще дисков докупить, благо они сейчас стоят как грязь. Btw, от «киллерфичи» контроллеров СраньФорсе в ssd (сжатия данных на этапе записи в NAND) интела со временем тоже отказались. Обнаружилось, что оно даже для юзерской файлопомойки не нужно, и тупо сжирает вычислительные ресурсы контроллера.

А, да, еще со сжатием появляется такая проблема «а хер знает, сколько там вообще места на диске, может на 100 гиг данных хватит, а может на 200». Если кто-то считает, что это норм для продакшена - ну хз, F что ли.

рейды

Есть аппаратные контроллеры и школоадм для бедных.

harbinger
()
Последнее исправление: harbinger (всего исправлений: 6)
Ответ на: комментарий от MoldAndLimeHoney

За большинство не скажу, но могу сказать за себя: я просто не хочу париться по этому поводу, поэтому раньше использовал бтр, а потом перешёл на xfs.

u5er
()
Ответ на: комментарий от harbinger

снапшоты провижнинг

Есть в lvm

И полон тырнет стонов, что снапшоты lvm долго делаются, а если их несколько, то с ростом их числа начинают дико тормозить. На zfs же они моментальны и делай любое количество.

сжатие

Зачем?

Сжатие на файлопомойке организации экономит примерно треть места, а быстродействие увеличивается. Так что тут скорее «а почему бы и нет?»

рейды

Есть аппаратные контроллеры и школоадм для бедных.

Которые не знают ничего про низлежащую ФС. Банальный вопрос про рассинхронизацию зеркала для них неразрешим.

GAMer ★★★★★
()
Ответ на: комментарий от harbinger

«а хер знает, сколько там вообще места на диске, может на 100 гиг данных хватит, а может на 200»

Ну свободное место репортится реальное же, а если ты пытаешься впихнуть невпихуемое, ССЗБ ведь )

GAMer ★★★★★
()
Ответ на: комментарий от harbinger

Ну и ещё про

провижнинг

На lvm это какое-то злое колдунство с расширениями/сжатиями, когда с zfs оно просто ЕСТЕСТВЕННОЕ свойство системы, когда создаёшь кучу ФС просто как директории.

GAMer ★★★★★
()
Ответ на: комментарий от yu-boot

Зачем, где это даст профит ощутимый?

  • на 100500 склонированных исходников;
  • на книгах fb2;
  • на usr/*/(include|share). Привет, Arch и другие дистры, где нет пакетов -dev!

Место нынче дёшево даже на SSD.

И сколько их влезет в ноутбук?

dataman ★★★★
()
Ответ на: комментарий от GAMer

Не увеличивается. Даже на HDD (нормальных) в RAID10 у тебя скорость чтения в разы выше, чем декомпрессии deflate в памяти.

Для ссд же стадия декомпрессии/компрессии вообще будет лютым ботлнеком.

harbinger
()
Ответ на: комментарий от dataman

сколько

Если есть слот под сату, то можно затолкать один, на 3.84тб.

Но вообще, как бе, в ноуте нахер не надо столько места. Мне например 512 хватает.

Вся файлопомойка на рейде в системнике (12тб). Причем, там не стояло цели сделать максимально надежно, максимально быстро или максимально объемно - просто после того как майнинг чихуахуа приказал долго жить, на вторичке оказалось огромное количество контроллеров и сравнительно небольших хардов (300гб-4тб) за копейки.

harbinger
()
Ответ на: комментарий от GAMer

Сжатие на файлопомойке организации экономит примерно треть места

Но при этом в модных ФС нельзя заполнять больше 80% с риском сильной просадки производительности и даже разрушения. Тут точно есть выигрыш?

MoldAndLimeHoney
() автор топика
Ответ на: комментарий от yu-boot

Не все/везде провайдеры одинаково полезны.

dataman ★★★★
()
Ответ на: комментарий от harbinger

СраньФорсе

школоадм

Попрошу воздерживаться от таких словоформ, иначе общение тут будет затруднено.

Dimez ★★★★★
()
Ответ на: комментарий от harbinger

Даже на HDD (нормальных) в RAID10 у тебя скорость чтения в разы выше, чем декомпрессии deflate в памяти.

Дурь. Даже если ты выжмешь из массива дисков больше 500Мб/с, это ничто по сравнению со скоростью декопмрессии. Даже deflate даст ощутимо больше, но кто им пользуется? Если хочешь сильного сжатия - zstd даст больше гига в секунду. Но с ним могут возникнуть вопросы. lz4 на современных процах, думаю. даст больше 10 гигов!!
Тут смысл в том, что мы получаем выигрыш, ничего не теряя.

GAMer ★★★★★
()
Ответ на: комментарий от MoldAndLimeHoney

сильной просадки производительности и даже разрушения

Про разрушение zfs я не слыхал вообще. Видел только сообщения с серьёзностью как в топике, что где-то что-то у кого-то раз в десять лет...
С просадкой производительности не сталкивался. Хотя и допускаю, что из-за фрагментации она таки может быть.

GAMer ★★★★★
()
Ответ на: комментарий от GAMer

Разваливается оно достаточно легко, причем что-либо вытянуть потом с дисков проблематично.

harbinger
()
Ответ на: комментарий от harbinger

Вот пример как на моей файлопомойке - compressratio 1.38x
Система - compressratio 1.56x
Вроде неплохие значения, вполне стоит того.

GAMer ★★★★★
()
Ответ на: комментарий от GAMer

Ну мы пришли к тому, с чего начинали.

У тебя осталось 20 гигов свободного реального места.

Как узнать, сколько данных туда еще влезет, учитывая, что ты можешь писать туда любую херню (от файлов, забитых целиком нулями, до файлов забитых целиком содержимым /dev/urandom).

Гадать на среднем компрессратио примерно так же полезно в данном случае, как на генераторе рандомных чисел.

Алсо, диски купить явно дешевле, чем лишних 100 гигов памяти под ARC. Если че, лишней памяти может просто не быть - например, на серверах того же хадупа. Там не то, что zfs, там даже какой-нибудь zgrep лучше лишний раз не запускать.

harbinger
()
Последнее исправление: harbinger (всего исправлений: 3)
Ответ на: комментарий от harbinger

А я просто не стану туда пихать больше, чем там места есть.

диски купить явно дешевле, чем лишних 100 гигов памяти под ARC.

Не помню уже точных цифр, но на этой машине каждый из дисков обошёлся в несколько раз дороже(около 4х кажется), чем вся её память на 128Гб )

GAMer ★★★★★
()
Ответ на: комментарий от GAMer

В серверах, про которые идет речь, стоит терабайт. Он весь забит, т.к. это compute nodes.

Можно поставить 2, но это выйдет по цене как такой же сервак из золота отлить (полная замена плашек с RDIMM на LRDIMM вдвое большей емкости).

Добавить часть не выйдет (RDIMM и LRDIMM вместе не работают).

Ну и собссно вопрос, нахера тратить память и процы на сомнительную экономию места, если там и обычной ФС типа xfs/ext4 за глаза.

harbinger
()
Последнее исправление: harbinger (всего исправлений: 3)
Ответ на: комментарий от yu-boot

Если побился сам диск, то кроме fat32 и ntfs разве что-то восстанавливают? Я просто подобного софта для онтопиковых ФС не видел ни разу.

То это в первую очередь железная работа и то без гарантий. Но если вы про восстановление данных с работающего, вроде UFS Explorer и R-Studio умеют.

anc ★★★★★
()
Закрыто добавление комментариев для недавно зарегистрированных пользователей (со score < 50)