LINUX.ORG.RU
ФорумAdmin

Опять zfs, неужели никак нельзя починить?

 , ,


1

2
Предисловие для "особо одарённых":
У меня нет ни каких претензий к zfs, и ни в чём я её не обвиняю.
У меня сложилась ситуация и надо найти из неё выход.
Не надо утруждать себя, и доказывать мне что я сам виноват. Я всю жизнь, делал продакшн системы на "том что есть", а не требовал крутого оборудования для продакшна, начиная с 90х, когда помогал поднимать первый в городе диалап интернет на OS/2, мультипортовках и аналоговых телефонных модемах, и это был ПРОДАКШН!
Так и сейчас. Есть определенное бюджетное оборудование и надо добиться его стабильной работы.



Потихоньку «роняю» zfs. (Вернее сама падает в нестабильных условиях)
Сейчас, после scrub имею:

  pool: T4T3S
 state: DEGRADED
status: One or more devices has experienced an error resulting in data
        corruption.  Applications may be affected.
action: Restore the file in question if possible.  Otherwise restore the
        entire pool from backup.
   see: https://openzfs.github.io/openzfs-docs/msg/ZFS-8000-8A
  scan: scrub repaired 2.17M in 09:12:56 with 38 errors on Fri Apr 18 18:37:59 2
config:

        NAME         STATE     READ WRITE CKSUM
        T4T3S        DEGRADED     0     0     0
          T4T3STORE  DEGRADED     0     0 4.44K  too many errors

errors: Permanent errors have been detected in the following files:

        T4T3S/:Dedup:<0x0>
        T4T3S/:pub:<0x0>

К сожалению - ошибки в самих подтомах, и не в отдельных файлах, которые можно удалить и перезалить. Неужели решение только в полной перезаливке подтомов?

И не надо хамить. Оригинальные данные надеюсь в стабильных условиях, но надо добиться стабильной работы дисков, на разных хостах через USB3.
В прошлый раз всё работало стабильно, но данные обновились и решил снова рсинкнуть. Подключил накопитель, и он стал DEGRADED после попытки rsync. К сожалению не отметил в чём разница подключений прошлого раза и этого.

★★★

Последнее исправление: n0mad (всего исправлений: 1)
Ответ на: комментарий от goingUp

Это не полигон

Чего, даже если у кого-то ничего не получилось, он все равно может приносить пользу. Служить примером, как не надо делать)

Почему сразу «ничего»? А что то не получается у многих. Впрочем я нашел особенность, возможно лишь этой платы. Ей не хватает питания, и этому можно помочь с помощью USB хаба, со своим блоком питания. Возможно и в других случаях можно поступить так же.
Впрочем на основной вопрос никто не смог ни чего порекомендовать, кроме как: «Не используй USB3». Я же ка раз хочу найти необходимый минимум условий для использования USB. Думаю не я один, такой - которому «не по карману» компы ценой 100к+, и хочу найти оптимальное бюджетное решение.
Пока пытаюсь «утоптаться» на BMAX B1 PRO за 8к рублей, и 5 USB3 дисков, общей стоимостью наверное под 30к рублей. тихое, бюджетное решение, кушающее мало тока. А там глядишь и на UPS «сэкономлю».

n0mad ★★★
() автор топика
Ответ на: комментарий от MagicMirror

Опыт свой вы, видимо, в криокамере хранили :)

Я так и не увидел пруфлинков, опровергающих мой опыт, а так да.
В 2009 году я упал с небес «на дно», и до сих пор никак не могу выбраться даже на твёрдую землю, а о небесах и мечтать бесполезно.
Возможно сейчас законотварьцы и настрогали законов ущемляющих продавцов, но расскажите всем. Как можно вскрыть устройство с пломбой, покопаться в нём и потом получить гарантию? По каким таким нормативным актам?
Если не приведете, извините но Вы просто «трепло».

n0mad ★★★
() автор топика
Ответ на: комментарий от n0mad

Примерно так:

  • ЗоЗПП, ст. 16, п. 10, 12, 13. что касается самих «наклеек».
  • ЗоЗПП, ст. 6 на счет бреда «можно продать без гарантии».

Подробнее - будь добр к юристу. То что ты в своей паршивой конторе 25 лет назад кидал лохов на гарантию - не значит что это законно сейчас.

MagicMirror ★★★
()
Последнее исправление: MagicMirror (всего исправлений: 1)
Ответ на: комментарий от MagicMirror

ЗоЗПП, ст. 16, п. 10, 12, 13. что касается самих «наклеек».
ЗоЗПП, ст. 6 на счет бреда «можно продать без гарантии».

Спасибо за пруфлинки, посмотрим как ВБ и ОЗОН будут им соответствовать.
Впрочем там не увидел ни чего про пломбы, а вскрытие пломбы это постороннее вмешательство.

n0mad ★★★
() автор топика
Последнее исправление: n0mad (всего исправлений: 1)
Ответ на: комментарий от n0mad

Впрочем там не увидел ни чего про пломбы, а вскрытие пломбы это постороннее вмешательство.

В том же законе есть пункт, что это обязанность продавца/изготовителя доказывать вину потребителя. «наклейка» таким доказательством не является.

ВБ и ОЗОН будут им соответствовать.

Им плевать, главное при передаче не нервировать биоробота в пункте, чтобы он спокойно оформил. Дальше разговор будет непосредственно с продавцом. (что тоже незаконно, ведь договор купли-продажи был заключен с озон/вб, а не «продавцом», но с ними спорить сложнее.)

MagicMirror ★★★
()
Последнее исправление: MagicMirror (всего исправлений: 1)
Ответ на: комментарий от realbarmaley

А у вас изначально диск USB или используете переходник USB-SATA? Бывают переходники кривые, к сожалению.

У меня «Сборная солянка». Но уже писал, проблема решилась включением активного USB3 Хаба в один из портов проблемного компьютера. 4Т на него залил, за 16 часов. без ошибок, на Микро-ПК тоже ошибок не наблюдал.
И я это всё прекрасно понимаю. В исходном сообщении меня интересовала возможность"починить" то что случилось. Жаль что решения не нашлось. У меня конечно есть Оригинал на рейде, я снёс и перезалил снова, но не всегда это возможно. Если бы был найден другой путь - было бы лучше.

n0mad ★★★
() автор топика
Ответ на: комментарий от MagicMirror

Впрочем там не увидел ни чего про пломбы, а вскрытие пломбы это постороннее вмешательство.

В том же законе есть пункт, что это обязанность продавца/изготовителя доказывать вину потребителя. «наклейка» таким доказательством не является.

Спасибо за акцент, при случае буду иметь ввиду. т.е. Мне можно спокойно вскрывать Lenovo, добивать дисков (менять изначальную конфигурацию) и если что - посылать всех фсад?

ВБ и ОЗОН будут им соответствовать.

Им плевать, главное при передаче не нервировать биоробота в пункте, чтобы он спокойно оформил. Дальше разговор будет непосредственно с продавцом.

Как раз разговор с продавцом - начинается до биоробота. Продавец сначала должен «одобрить» возврат, хотя при гарантийном случае - ВБ/ОЗОН вообще не вмешиваются, кроме как в случае возврата товара. Для гарантийного ремонта - выкатывают другие требования, за свой счет доставить в авторизованный сервисный центр и в случае гарантийного случая - они возместят. К сожалению, компьютеры это: «Товары повышенной сложности» (как и смартфоны) и там есть много ньюансов. Всё решается через обращения в авторизированный сервисный центр - дающий заключение.

(что тоже незаконно, ведь договор купли-продажи был заключен с озон/вб, а не «продавцом», но с ними спорить сложнее.)

Вот меня тоже удивляет этот факт. Деньги то я отправлял не продавцу, а в ВБ. Почему они заставляют решать вопросы с их поставщиком?

n0mad ★★★
() автор топика
Ответ на: комментарий от MagicMirror

То что ты в своей паршивой конторе 25 лет назад

К слову, уже лет 20 назад я спокойно обменял сгоревшую материнку в последние дни гарантийного срока, не имея на руках вообще ничего, ни чека, ни заводского комплекта (коробки со всем содержимым), просто попросил поискать в их базе по серийнику, заменили сразу и без проблем, хотя я был готов много ругаться. Лет 25 назад закупались все в Терсисе, тоже никаких проблем с обменом не было.

Dimez ★★★★★
()
Ответ на: комментарий от n0mad

Спасибо за пруфлинки, посмотрим как ВБ и ОЗОН будут им соответствовать.

Ты не только собрал систему из какого-то хлама, но ещё и купил этот хлам на помойках. Мда.

firkax ★★★★★
()

Опять zfs, неужели никак нельзя починить?

Можно, разрешаю. LVMом и btrfsом, с двух рук, по-македонски. Не забудь уточнить какой RAID ныне в почоте у любителей большого секса под кроватью.

slackwarrior ★★★★★
()

Не собираюсь продолжать оффтопичную полемику с крючкотворцами и хамами. Надеюсь модеры этот срач проредят, и оставят только то что по делу.
По делу, увы совета не пришло. Перезаливаю полностью. Уже второй винт. Пока полёт без ошибок, и всё решилось банально - установкой активного хаба с блоком питания, хотя казалось бы: USB3<->SATA адаптеры тоже с блоками питания, и проблем по питанию быть не должно.

n0mad ★★★
() автор топика
Последнее исправление: n0mad (всего исправлений: 2)
Ответ на: комментарий от n0mad

Закончит и сделаю zfs set mountpoint=/zfs/=T4T3S T4T3S
и zfs inherit -r mountpoint T4T3S/<каждый подтом>
Надеюсь прокатит.

Даже каждый подтом не надо было указывать:

zfs inherit -r mountpoint T4T3S

рекурсивно унаследовала точки монтирвания для каждого подтома.

n0mad ★★★
() автор топика
Ответ на: комментарий от n0mad

И я это всё прекрасно понимаю. В исходном сообщении меня интересовала возможность"починить" то что случилось. Жаль что решения не нашлось.

Да давно найдено. Могу поцитировать доки не умеющим читать: ZFS критически относится к потере питания. Для неё это критически. Сама концепция USB при прочих - ущербна для неё. Если вынуть руки из жопы и пойти таки читать документацию и опыт людей, то можно поотключать autodisable/suspend и пробовать…

Eulenspiegel
()
Ответ на: комментарий от Eulenspiegel

ZFS критически относится к потере питания. Для неё это критически

Да, да… А ещё ZFS не работает без терабайтов оперативы, причём обязательно с ECC. Лор, такой лор, ололо…

anonymous
()
Ответ на: комментарий от Eulenspiegel

И я это всё прекрасно понимаю. В исходном сообщении меня интересовала возможность"починить" то что случилось. Жаль что решения не нашлось.

Да давно найдено.

Так дал бы решение, если оно давно найдено. Никто не дал, я пересоздал и перезалил, это я и без вас умею делать.

Могу поцитировать доки не умеющим читать:

Если можешь, цитируй, с пруфлинками.

ZFS критически относится к потере питания.

Где это написано? Пруфлинк плиз!

Для неё это критически.

ZFS. Жажду кулстори и ответов.

>>9. Как ZFS относится к внезапным ребутам или потере питания?
>Безразлично.

Сама концепция USB при прочих - ущербна для неё.

Пруфлинки плиз! Звиздить - не мешки ворочать...

Если вынуть руки из жопы и пойти таки читать документацию и опыт людей,

Ну унизил ты меня, почувствовал себя крутым с крыльями за спиной?

то можно поотключать autodisable/suspend и пробовать…

Кого отключать? Что пробовать? Пруфлинк!

Вообще, я zfs - начал использовать лет 10 назад... В хлам - она ни разу не падала. Самый мощный «хлам» был когда она трапалась при попытке загрузки модуля, но легко решилось монтированием ридонли, рсинком и обратной заливкой. Я как «сапожник без сапог», с компами с 90х, но прямо сейчас у меня нет UPS. И было время, когда свет часто рубили (опиливая кусты вокруг). zfs всё переносила достойно. Вообще по сути это транзакционная фс с copy on write и отключения света её не должны волновать - потеряется лишь то с чем были операции в момент отключения.

Как же некоторые любят тут унижать других...
Зачем?
Почувствовать себя круче?
Мучают ЧСВ и ЧСД?

n0mad ★★★
() автор топика
Последнее исправление: n0mad (всего исправлений: 2)
Ответ на: комментарий от anonymous

ZFS критически относится к потере питания. Для неё это критически

Да, да… А ещё ZFS не работает без терабайтов оперативы, причём обязательно с ECC. Лор, такой лор, ололо…

Ну не только ЛОР, 10 лет назад, предложил zfs в продакшн. Тогдашний начальник послал - говорит: У нас сервера без ECC, а без ECC - zfs падает в хлам. Что не мешало мне использовать zfs на рабочем месте, без ECC.

n0mad ★★★
() автор топика
Ответ на: комментарий от Eulenspiegel

Сама концепция USB при прочих - ущербна для неё.

Не «свистите». Прямо сейчас, zfs на sata диске, втала в DEGRADED
Всё что я делал - с этого диска заливал на USB3 диск. Этот USB3 диск - ONLINE, а sata диск - DEGRADED. Причём в источнике «на запись» я сделал лишь mv _BSD 0k, после того как залил её на USB. И всё! Только от этого том стал DEGRADED.
Так что «не надо петь военных песен». Теперь опять... Искать свободные 3Т, и тьму часов чтобы перелить туда-сюда. Иначе zfs «не чинится». Остаётся сообщение о том что имел место быть сбой и нужно фсё перезалить.

n0mad ★★★
() автор топика
Последнее исправление: n0mad (всего исправлений: 1)
Ответ на: комментарий от n0mad

Ну не только ЛОР, 10 лет назад, предложил zfs в продакшн. Тогдашний начальник послал - говорит: У нас сервера без ECC, а без ECC - zfs падает в хлам. Что не мешало мне использовать zfs на рабочем месте, без ECC.

У меня сейчас в проде больше 10 кластеров на Proxmox. ZFS и bash во все поля со всеми понтами. Но вы же знаете лучше. Что я со своим рылом в Калашный ряд…

Eulenspiegel
()
Ответ на: комментарий от n0mad

Всё что я делал - с этого диска заливал на USB3 диск. Этот USB3 диск - ONLINE, а sata диск - DEGRADED. Причём в источнике «на запись» я сделал лишь mv _BSD 0k, после того как залил её на USB. И всё! Только от этого том стал DEGRADED.

Мышки, кактус, ням-ням.

Если тебе нужно неубиваемое решение для USB устройств (в принципе, оно будет неубиваемым не только на них, просто на них это важно), то ты соберешь себе ext4@LVM@LUKS (или ext4@LVM@LUKS@mdadm, если купишь коробку с двумя драйвами), и получишь штуку, которую хоть прямо во время копирования дергай наживо, ничего не покорраптится, кроме копируемого.

Некоторые говорят, что уже и btrfs тоже можно использовать для таких юзкейсов, но у меня (устаревший на пять лет) противоположный опыт, потому советовать не возьмусь.

Что касается конкретно твоей проблемы - она в забивании гвоздей микроскопом. ZFS хороша в ЦОД, где она сидит на аппаратных рейдах, с ECC, резервированием питания и автоматическим бэкапом. Потому что ты собрал все ZFS bad practices в одну кучу, и удивляешься, почему же кровь кишки расчлененка. Скажи спасибо, что диск не может распилить свой собственный корпус и впиться тебе вылетевшим блином в череп, если бы аппаратно это могло быть, это бы случилось при таких practices.

Что там у тебя - битый кабель, херовое питание, ECC отсутсвующий и как следствие - пролетавший через раму поток нейтрино перебил биты - никому неведомо.

Ведомо только то, что ZFS на USB - это диагноз.

pekmop1024 ★★★★★
()
Ответ на: комментарий от n0mad

Мышка, читаем? ИСХОДНИК НА SATA! В DEGRADED выпал SATA а не USB!

Мышка тут только одна. SATA, к сожалению, так же подвержен хреновым кабелям и проблемам с землей, как и USB. Ну ладно, не так же, слабее. Но в целом - те же яйца, вид сбоку.

Для ZFS - SAS с коррекцией ошибок и кэшем на батарейке. Не консумерское железо, которому нужны другие фс, рассчитанные на его косяки.

pekmop1024 ★★★★★
()
Ответ на: комментарий от pekmop1024

Мышка, читаем? ИСХОДНИК НА SATA! В DEGRADED выпал SATA а не USB!

Мышка тут только одна. SATA, к сожалению, так же подвержен хреновым кабелям и проблемам с землей, как и USB. Ну ладно, не так же, слабее. Но в целом - те же яйца, вид сбоку.

Нет, ну как же вы «зашорены» - это трэш какой то. Других предположений нет?
Лично я пошел разбираться. Предположение на бэд, и тут ща сделаю ещё один тред. Какие средства есть в Linux для проверки на бэды и ремапа бэдов?
Или тупо качать загрузочную флешку с виндой и Викторией?

Для ZFS - SAS с коррекцией ошибок и кэшем на батарейке. Не консумерское железо, которому нужны другие фс, рассчитанные на его косяки.

Закатал бы пальцы немного, мои работодатели как то уже 25+ лет выживают без этого. Обычный мелкий бизнес, выживает на копейки. Далеко не каждый может себе позволить дорогие брэндовые серваки с ЕСС и SAS с батарейками.

n0mad ★★★
() автор топика

Страная смесь тырпрайза с хламом.

USB плохой вариант для использования 24/7. Под эту шину заведомо идёт некачественная периферия и кабели.

ZFS дома непонятно зачем нужен. В Линуксе стандартная файловая система на сегодняшний день это ext4.

RAID дома плохая затея, онлайн зеркалирование будет приводить к перестройке массива на любой чих, чем будет изнашивать и убивать накопители.

anonymous
()
Ответ на: комментарий от pekmop1024

Для ZFS - SAS с коррекцией ошибок и кэшем на батарейке.

Видел аналогичную картину с CRC ошибками на SAS контроллере с длинными кабелями. Причём в хорошо заземлённой серверной крупной организации. Плохие кабели встречал очень редко. А вот замена длинного кабеля на короткий всегда давала фантастический прирост стабильности, особенно при замене на самые короткие 10-15 см. А если ещё и поместить диски в почти сплошной металлический ящик для электрооборудования, то эффект прироста стабильности и пропадания CRC ошибок по показаниям zpool status максимальный.

Не консумерское железо, которому нужны другие фс, рассчитанные на его косяки.

IMHO наоборот ZFS максимально раскрывается на самом дешманском железе, когда спасает данные, которые другая FS бы просто пролюбила. Главное заранее хорошо протестировать оперативную память, чтобы ZFS не испортила свои метаданные.

sanyo1234
()
Последнее исправление: sanyo1234 (всего исправлений: 1)
Ответ на: комментарий от anonymous

Страная смесь тырпрайза с хламом.

OpenZFS - это давно уже commidity, проснись.

ZFS заопенсорсили более 15 лет назад.

USB плохой вариант для использования 24/7. Под эту шину заведомо идёт некачественная периферия и кабели.

Качество зависит от конкретных моделей контроллера, устройств и кабелей, бывают очень качественные, но в условиях помех это никак не помогает.

ZFS дома непонятно зачем нужен.

Затем и нужен, чтобы данные сохранить.

В Линуксе стандартная файловая система на сегодняшний день это ext4.

В Линуксе десяток разных FS, и свобода выбора любой из них.

RAID дома плохая затея, онлайн зеркалирование будет приводить к перестройке массива на любой чих, чем будет изнашивать и убивать накопители.

Аппаратный RAID - всегда плохая затея. Но если нет софтового типа ZFS, то лучше уж хотя бы правильный аппаратный.

sanyo1234
()
Последнее исправление: sanyo1234 (всего исправлений: 2)
Ответ на: комментарий от pekmop1024

Для ZFS - SAS с коррекцией ошибок и кэшем на батарейке

Для ZFS по инструкции полагается отключать кэш контроллера на батарейке, и вообще лучше не использовать ничего сложнее HBA без батареек. Для ускорения работы ZFS используют быстрые промышленные (с кондюрами) SSD для SLOG и L2ARC, а не Write Back Cache кэш контроллера с батарейкой.

sanyo1234
()
Последнее исправление: sanyo1234 (всего исправлений: 1)