LINUX.ORG.RU
решено ФорумAdmin

«красная тряпка» - zfs. Диск без бэдов, а файл не читается! Есть какие мысли?

 bad, , , ,


0

4

Есть: TOSHIBA DT01ACA300
Был уже топик, появилось 18 бэдов.
Пофиксил их HDD-Regenerator-ом.

Похоже что zfs помнит что этот файл был с бэдом:

errors: Permanent errors have been detected in the following files:

        T3T1S/:DL:<0x4146a>
        /opt/=pub/=DL/##BAD/install.esd.BAD


пытаюсь скопировать:
# dd if=install.esd.BAD of=install.esd.copy bs=1024k conv=noerror,sync
dd: ошибка чтения 'install.esd.BAD': Ошибка ввода/вывода
1735+0 records in
1735+0 records out
1819279360 bytes (1,8 GB, 1,7 GiB) copied, 43,5197 s, 41,8 MB/s
dd: ошибка чтения 'install.esd.BAD': Ошибка ввода/вывода
1737+1 records in
1738+0 records out
1822425088 bytes (1,8 GB, 1,7 GiB) copied, 43,5477 s, 41,8 MB/s
2302+3 records in
2305+0 records out
2416967680 bytes (2,4 GB, 2,3 GiB) copied, 57,2497 s, 42,2 MB/s


Файл не читается. Опять гружусь с флешки, прогоняю HDD-Regeneratoer - ошибок на диске нет, но файл не читается!

Какие будут предположения? А пока сейчас прогоню через Victoria и zpool scrub. И попробую потусторонний хак с запуском и остановкой scrub

РЕЗЮМЕ! Впрочем всё логично! Если не совпадает контрольная сумма - то этот файл не может быть прочитан! Его теперь удалять и записывать вновь!
Но сначала сделаю несколько контрольных шкрябов (scrub).
Тему отмечаю как решенную!

Эх... каждый «шкряб» по несколько часов :(
Слушать гудение десктопа.

★★★

Последнее исправление: n0mad (всего исправлений: 2)
Ответ на: комментарий от GAMer

отлчиие в том, что мои ещё можно проверить и даже заставить работать. а вот MFM - сильно навряд ли! у меня уже почти не осталось машин с PCI. чо уж тут про ISA говорить.

mumpster ★★★★★
()
Ответ на: комментарий от n0mad

Я надеялся что вам приятно помочь больному человеку, и я не вызываю отрицательных эмоций.

Ну лично у меня даже психи из под химозы не вызывают отрицательных эмоций.

и не буду вас анноить.
анноить

Респект! Старое забыло слово... утер скупую слезу.

Я рад что у тебя есть такая возможность, я такой увы не имею. Живу на щах да каше, чтобы позволить китайщину с Озона.

Щи, каша... ИМХО это как раз норм питание. Или вы хотели омаров и других лобстеров с круасанами?

anc ★★★★★
()
Ответ на: комментарий от vbr

Между прочим человек полезное дело делает. Тестирует ФС в необычных и весьма хардкорных условиях.

Ну лизание высокоточного провода это тоже в некотором роде тестирование, вопрос только зачем?

anc ★★★★★
()
Ответ на: комментарий от mumpster

в среднем они просто не на 5 лет рассчитаны, а побольше

У них не понятия лет, у них понятие сколько раз записали, но я говорил именно про:

а мгновенная смерть у них вполне себе бывает

Что на фоне hdd крайне печально оказывается.

но обычно перед этим есть предпосылки - растёт задержка с ответом и т.п.

Вообще без предпосылок, сегодня жив, завтра мертв.

хуавей в карасе следти за этим и отстреливает такие диски не дожидаясь отказа.

Можно подробностей?

anc ★★★★★
()
Ответ на: комментарий от anc

При чём тут вообще скорость? Речь шла о том, можно или нельзя.

Скорость HDD я мерял, в скорость интерфейса она не упиралась.

С тем, что PCI-E будет производительней USB, я не спорю.

vbr ★★★★★
()
Последнее исправление: vbr (всего исправлений: 2)
Ответ на: комментарий от Dimez

Я бы понял, если бы ТС купил DAS на USB 3.2 или Thunderbolt, натыкал туда винтов и собирал из них себе ZFS. Мне ZFS не нравится, но сетап был бы вполне жизнеспособен, так многие делают.

А он пытается из кубиков с буквами А, П, Ж и О собрать слово «СЧАСТЬЕ».

pekmop1024 ★★★★★
()
Последнее исправление: pekmop1024 (всего исправлений: 1)
Ответ на: комментарий от vbr

При чём тут вообще скорость?

«В случае с USB пропускная способность у него на порядки выше пропускной способности большинства дисков и никаких проблем с этим нет и быть не может.»
Это не я написал.

anc ★★★★★
()
Ответ на: комментарий от GAMer

А ещё полуметровая VLB мультяха есть, в руках с которой я задаю соискателям вопрос: «ШТОЭТААА??» ))

Ну это же слишком тупой троллинг. Я именно в варианте «в руках с которой я задаю соискателям вопрос» отвечу культурным переводом «в душе не имею» т.е. «незнаю».

anc ★★★★★
()
Ответ на: комментарий от n0mad

На этом трупе валяется 3Т барахла, которое когда то было скачано с интернета (некоторое более 10л назад). Некоторое уже и не найдёшь...

Ну если это скаченное барахло то его возможно и искать не нужно, барахло оно на то и барахло.

anc ★★★★★
()
Ответ на: комментарий от anc

У них не понятия лет, у них понятие сколько раз записали

мы точно про НЖМД говорим? вот как раз «сколько записали» по большому счёту им пофиг

Вообще без предпосылок

полагаю ты ничего не знаешь про НЖМД
если было бы так - никто из производителей СХД не следил бы параметрами НЖМД. а они все это делают. даже LSI в своих адаптерах.

Можно подробностей?
какие ещё подробности? открой файл с их диагностикой и найди статистику, которую он по каждому диску постоянно ведёт, раз на слово не вершиь. и как только, например, задержка ответа от диска превышает некие заранее заданные границы для этой модели - карась переводит диск в отказ.

mumpster ★★★★★
()
Ответ на: комментарий от mumpster

мы точно про НЖМД говорим?

Точно нет. Посмотрите на что вы отвечали «А у сосоди эта вероятность рандомная...»

полагаю ты ничего не знаешь про НЖМД

Ваше право так предполагать.

никто из производителей СХД не следил бы параметрами НЖМД. а они все это делают. даже LSI в своих адаптерах.

Какое отношение это имеет к ssd ?

какие ещё подробности? открой файл с их диагностикой

«файл с их диагностикой» я умом понимаю , что «всё есть файл», но не могу не спросить «а где мне этот файл искать?».

задержка ответа от диска превышает некие заранее заданные границы для этой модели

А вы откуда берете эти «некие заранее заданные границы» и именно «для этой модели»?

anc ★★★★★
()
Ответ на: комментарий от anc

тупой троллинг

Должна ж быть хоть какая-то развлекуха? )
Да и если у человека есть мозг, он может поглядеть на плату, на разъёмы, на чипы и хотя бы предположить, что это может быть или хоть к какому веку оно относится...

GAMer ★★★★★
()
Ответ на: комментарий от kaldeon

ну так именно эти фишки и не дали ТСу спокойно слить данные.

у всего есть оборотная сторона.

zfs должен быть либо на зеркале, либо на raidz.

а то начинают! это примерно как lvm на локалхосте - ЗАЧЕМ?

mumpster ★★★★★
()
Ответ на: комментарий от anc

я отвечал на «У вынтерпрайз хардов мгновенная смерть тоже не нулевая» - ни разу ещё такого не было - всегда были предпосылки. просто их часто игнорируют.

про границы - это не я беру, а вендор. на основе своей статистики и опыта работы.

Файл диагностики собирается на карасе в Device Manager или через CLI командой. в EMC Unity аналогично просто процедура своя.

и да - все вендоры точно также опрашивают н аздоровье как НЖМД так и ТТД, это видно по samrt error log. мне отдали ТТД samsung, который простоял некоторое время в работающем сервере и у него в логе чётко видны периодические short offline опросы, видимо от адаптера LSI.

mumpster ★★★★★
()
Ответ на: комментарий от mumpster

ZFS с одним диском нужна, в первую очередь, не для защиты от отказа диска, а для защиты самих данных и обеспечения целостности файловой системы.

Для меня есть необходимость хотя бы по следующим причинам:

  1. Чексуммы: традиционные ФС могут читать поврежденные данные и передавать их приложениям, не зная об ошибке. ZFS, по крайней мере, знает о повреждении.

  2. CoW: исключает риск повреждения структуры файловой системы при внезапном сбое питания или отключении системы. В других ФС получается «грязная» ФС, требующая долгого fsck.

  3. Снапшоты: моментальная заморозка данных, которая занимает место только для измененных данных. Плюс лёгкое восстановление данных.

  4. Нет необходимости заранее выделять фиксированный размер для «томов». Датасеты используют общий пул и растут по мере необходимости.

  5. Сжатие: встроенные алгоритмы позволяют сжимать данные «на лету» без значительных потерь производительности, экономя место.

Если этого мало, спроси у chatGPT, наверняка он накидает больше пунктов ☺️

Разумеется ZFS без зеркала не защищает от отказа диска. У меня дома на файлопомойке ZFS на трёх HDD в Raid-Z + два ZFS-USB для бекапов.

Clockwork ★★★★★
()
Ответ на: комментарий от Clockwork
  1. так я тя и спращиваю - зачем тебе такая защита если ты данные всё равно потеряешь? ну чо толку, если ты даже знаешь, что с ними не всё в порядке? поясню - ну вот записал ты их, а они уже потом попортились. и всё - см. начало темы и прочие темы ТСа.

без raid - бессмысленно!

  1. далее, ZFS на самом деле не CoW, а RoW система. но это такое слабое преимущество, на самом деле журнал позволяет решить ту же проблему и на обычной fs (ext3 например). и потом, у меня за столько лет эксплуатации разнообразных систем вот конкретно по этой теме пробелм было меньше всего. и журнал как раз решает проблему долгого fsck.

  2. ну это безусловно +

  3. не очень понятна безусловная ценность датасетов. выделять из пула - чтобы что? просто чтобы с квотами не возиться? смешно

  4. тоже + но не безусловный. а очень спорный.

к чатгопоте сам иди.

mumpster ★★★★★
()
Ответ на: комментарий от mumpster

так я тя и спращиваю - зачем тебе такая защита если ты данные всё равно потеряешь?

Знание о повреждении является критически важным, поскольку это позволяет принять меры и защититься от дальнейшего распространения ошибки. В традиционных ФС поврежденные данные могут быть записаны в бэкап, переданы по сети или использованы для вычисления других, критически важных данных. Ты можешь не заметить эту проблему месяцами или годами, пока не будет слишком поздно.

без raid - бессмысленно!

Я бы сказал, на традиционных ФС тоже бессмысленно без raid или других каких-то резервных копий. Разница лишь в том, что с ZFS ты знаешь, что файл поврежден

на самом деле журнал позволяет решить ту же проблему и на обычной fs (ext3 например).

журнал как раз решает проблему долгого fsck.

CoW/RoW дает преимущество в согласованности данных и метаданных, которое журнал не обеспечивает. Журналируемые ФС могут иметь сбой между записью данных и метаданных, что приводит к несогласованному состоянию, даже если fsck пройдет быстро. ZFS гарантирует атомарное переключение на новую, полностью согласованную структуру данных и метаданных. Это не просто быстрый пропуск fsck, а защита от логического повреждения данных из-за сбоя питания, что является более сильной гарантией целостности системы.

не очень понятна безусловная ценность датасетов. выделять из пула - чтобы что? просто чтобы с квотами не возиться?

Ценность датасетов не в квотах, а в иерархическом управлении свойствами и изоляции. Датасеты позволяют наследовать настройки (сжатие, кэширование, режим записи) дочерним ФС от родительского датасета и обеспечивают независимое управление точками монтирования и снапшотами. Это позволяет делать точные бэкапы и откатывать только нужную часть данных, не затрагивая остальные, а также гарантировать, что критически важные политики применяются ко всей подсистеме.

тоже + но не безусловный. а очень спорный.

Это преимущество становится очевидным, когда используются быстрые алгоритмы, такие как LZ4. Оно имеет крайне низкие накладные расходы на CPU, но при этом часто обеспечивает выигрыш в общей производительности ввода/вывода (I/O). В итоге, это практически бесплатный способ сэкономить место и потенциально ускорить операции с диском.

Clockwork ★★★★★
()
Ответ на: комментарий от GAMer

тупой троллинг

Должна ж быть хоть какая-то развлекуха? )

Я и сказал «тупой троллинг».

Да и если у человека есть мозг, он может поглядеть на плату, на разъёмы, на чипы и хотя бы предположить, что это может быть или хоть к какому веку оно относится...

Вы ждете ответа в виде «это прошлый век»? Но нет, это тоже потенциально может оказаться не правильным ответом. Я вот VLB «новых» в руках в этом веке вроде и не крутил, но isa вполне себе.

anc ★★★★★
()
Ответ на: комментарий от Alexander123

SMART смотрел, он был в порядке первые несколько дней. То что диск умирает, я понял быстрее, чем это сказал SMART.
SMART смотрел

Извините, но слово «смотрел» вызывает только ассоциацию «я тааак эпизодически подсматривал».

anc ★★★★★
()
Ответ на: комментарий от mumpster

я отвечал на «У вынтерпрайз хардов мгновенная смерть тоже не нулевая» - ни разу ещё такого не было - всегда были предпосылки. просто их часто игнорируют.

Было и без предпосылок, но это реально редкость! на фоне моей статистики в сравнении с десктопными которые мрут как мухи.

anc ★★★★★
()
Ответ на: комментарий от mumpster

потому что PS/2 - это устройства на шине ISA.

А ничего что у меня, и не только меня, в 2025 «мышки и клавы» PS/2 робят на девайсах которые про ISA ещё при рождении ничего не слышали?
ЗЫ
Вы разъемы ISA хоть раз в глаза видели?

anc ★★★★★
()
Ответ на: комментарий от anc

а ты смешной!

dmesg:
PNP: PS/2 Controller [PNP0303:PS2K,PNP0f03:PS2M] at 0x60,0x64 irq 1,12
serio: i8042 KBD port at 0x60,0x64 irq 1
serio: i8042 AUX port at 0x60,0x64 irq 12
mice: PS/2 mouse device common for all mic
input: ImPS/2 Generic Wheel Mouse as /devices/platform/i8042/serio1/input/input4

lspci:
00:14.3 ISA bridge: ATI Technologies Inc SB700/SB800 LPC host controller

при этом там физически нет ISA разъёмов и даже PCI уже всего один

ISA в виде разъёма конечно видел. и даже платку самолично делал которая туда втыкалась.

mumpster ★★★★★
()
Ответ на: комментарий от Dimez

А почему эта ФС технически вообще требует какого-то особого железного подключения? Что с ней не так? Со стороны читается как бред. Что ломается в zfs если накопитель использует USB шину? Или имеется в виду что в USB есть задержки и в целом медленно и типа zfs будет разваливаться на любом медленном подключении?

LINUX-ORG-RU ★★★★★
()
Последнее исправление: LINUX-ORG-RU (всего исправлений: 2)
Ответ на: комментарий от mumpster

Простите, но что вы этими выхлопами хотели сказать?

ISA в виде разъёма конечно видел. и даже платку самолично делал которая туда втыкалась.

Респект! А для чего если не секрет?

anc ★★★★★
()
Ответ на: комментарий от anc

то что это ISA шина:
00:14.3 ISA bridge
и PS/2 устройства сидят именно на ней (характерные номера портов):
serio: i8042 KBD port at 0x60,0x64 irq 1
serio: i8042 AUX port at 0x60,0x64 irq 12

не секрет. адаптер для своего же внешнего ЦАП-АЦП, людям нужно было что-то типа цифрового осциллографа, но вот fnirsi тогда даже в проекте не было, а тектроникс был неподъёмным по деньгам. да и было это во времена косых дисководов, но у нас только 5" был (XT). простейшее ПО тоже сами написали. по итогу выяснилось, что разогнанный Z80 на спектруме делает всё быстрее и точнее (накладных меньше) и ПО проще получается, естесно, всё было в RAND USR )))))))

ещё потом чуть позже в другом месте внутренние модемы местного производства поправляли - там слегка накосячили с разводкой, пришлось немного перепаивать.

святые 90е! глаза бы их не видели!

mumpster ★★★★★
()
Ответ на: комментарий от LINUX-ORG-RU

Zfs, как и любая другая фс, может развалиться при использовании копрожелеза. Особых требований к способу подключения дисковых устройств у нее нет.

undef ★★★
()
Ответ на: комментарий от yars068

А что тогда все на несчастного @n0mad’а накинулись? :)

Все критикуют USB-ZFS потому, что вероятность аппаратных сбоев, ведущих к отвалу диска, на USB-мостах выше на порядок, чем на прямом SATA-подключении. Я просто счастливый обладатель качественного, беспроблемного моста.. А ТС наступает на грабли уже в который раз. :)

Clockwork ★★★★★
()
Ответ на: комментарий от mumpster

и PS/2 устройства сидят именно на ней (характерные номера портов):

номера портов не говорят ничего о том на какой шине тот или иной контроллер работает.

не секрет. адаптер для своего же внешнего ЦАП-АЦП, людям нужно было что-то типа цифрового осциллографа

Респект*2 !

anc ★★★★★
()
Ответ на: комментарий от LINUX-ORG-RU

Тут эта… До сих пор баталия идёт везде, обязательно ли для ZFS ECC и можно ли на SATA или обязателен SAS, а ты с USB :)

Dimez ★★★★★
()
Последнее исправление: Dimez (всего исправлений: 1)
Ответ на: комментарий от LINUX-ORG-RU

А почему эта ФС технически вообще требует какого-то особого железного подключения?

Не требует она ничего особенного, просто пипл любит байки из склепа по интернетам разносить. Из последнего было, что мол zfs как-то не так работает в массивах smr-дисков, есессно оказалось, что это чушь, в общем как обычно.

Frohike
()
Ответ на: комментарий от Dimez

Бесспорно. Более того, никому не рекомендую использовать zfs-массивы из smr-дисков в проде, ибо тормозит, но работает.

Frohike
()
Последнее исправление: Frohike (всего исправлений: 1)