Вопрос к гуру zfs - ЧТО ЗА ОШИБКА CKSUM?

Это значит выкинь диск, найденный на помойке (алиэкспрессе, озоне итд) и купи нормальный.

Я тебе уже писал что ZFS по USB плохеет…

Что означает это поле? Как понять то что ошибки есть но их нет?

Это значит что чексуммы файла при после записи не совпадают с чексуммами файлов в момент доступа к ним. Либо у тебя побились сами файлы, либо метаданные.

Рекомендую эвакуировать данные в срочном порядке и заменить диск (а в твоём случае стоит начать с метода подключения, диск может оклимается ещё).

У тебя не сходятся контрольные суммы. Это может быть вызвано как проблемами с диском, так и проблемами с другим железом, например, памятью или процессором.

Это значит выкинь диск, найденный на помойке (алиэкспрессе, озоне итд) и купи нормальный.

т.е. нужно купить купленный на озоне и прошедший через 10 перекупов?

Посмотри смарт винта. Если пошли «reloc», «pending» то причина винт (он твердотельный?). Если смарт нормальный то интерфейсы, контроллеры, память(хотя с битой ОЗУ довольно быстро поймать зависания, паники и т.п.).

Я тебе уже писал что ZFS по USB плохеет…

Помню, но у меня пока только такое решение.

Что означает это поле? Как понять то что ошибки есть но их нет?

Это значит что чексуммы файла при после записи не совпадают с чексуммами файлов в момент доступа к ним. Либо у тебя побились сами файлы, либо метаданные.

Но: «errors: No known data errors» мне вот это не понятно, поэтому я и хотел услышать что гуру скажут. Может предложать что то через zdb посмотреть?

Рекомендую эвакуировать данные в срочном порядке и заменить диск (а в твоём случае стоит начать с метода подключения, диск может оклимается ещё).

Большая часть этих данных есть на рейде (Около месяца назад синкал с рейда на SATA), но с моделью где то прошляпил.
Взял, всё путём. Сделал рейд.

Model Family:     Toshiba 3.5" MG03ACAxxx(Y) Enterprise HDD
Device Model:     TOSHIBA MG03ACA400
Sector Size:      512 bytes logical/physical
Заказал ещё, пришло:
Model Family:     Toshiba MG04ACA... Enterprise HDD
Device Model:     TOSHIBA MG04ACA400E
Sector Sizes:     512 bytes logical, 4096 bytes physical
Но блин! 512/4096. Синкнул на него рейд. Как раз он в USB3.

У тебя не сходятся контрольные суммы. Это может быть вызвано как проблемами с диском, так и проблемами с другим железом, например, памятью или процессором.

У меня 4 USB3 пула zfs - проблемы лишь на одном. отличия - лишь порт активного хаба, переходник и винт. Хитачи 4Т, на таком же переходнике - работает без проблем.

Меньше слушай озоновских маркетологов. На озоне продают то что приличные магазы не станут продавать (подделки, партии с большим процентом брака, б/у со скрученными смартами). И именно поэтому там дешевле: по-хорошему всё это следовало сразу нести на утилизацию по цене металлолома, а тут оказалось что можно впарить нубам за какую-то стоимость побольше.

Если оно в mirror (≈RAID-1), то может само отпустить со временем, но по USB я бы на это не надеялся. )=

отличия - лишь порт активного хаба

На всех питания хватило, а на этот не хватило?

Самая большая проблема для дисков — питание. И у USB с этим хуже всего.

Конечно, можно и по SATA огрести, если блок питания старый, но там оно хотя бы не рандомно происходит.

Посмотри смарт винта. Если пошли «reloc», «pending» то причина винт

Всё у него по 0

(он твердотельный?). Если смарт нормальный то интерфейсы, контроллеры, память(хотя с битой ОЗУ довольно быстро поймать зависания, паники и т.п.).

Обычный TOSHIBA MG04ACA400E, и самое противное, что нет инструментария для диагностики. Хотя конечно если убить кучу времени, рсинкнуть его назад на рейд, очистить и прогнать софт пишущий и верифицирующий, но написать и верифицировать 4Т это прорва времени, и не факт что что то даст. Как появятся деньги - куплю ещё один 4Т и тогда можно будет начать разбираться.

Меньше слушай озоновских маркетологов. На озоне продают то что приличные магазы не станут продавать (подделки, партии с большим процентом брака, б/у со скрученными смартами).

Изопенисуально. Кого ты называешь «Приличный магазин»? Тех кто продаст сильно дорого и поменяет в случае чего? Эти «нормальные магазины», так же легко могут нарваться на подделки, бракованные партии, и.т.д.

И именно поэтому там дешевле: по-хорошему всё это следовало сразу нести на утилизацию по цене металлолома, а тут оказалось что можно впарить нубам за какую-то стоимость побольше.

А в нормальных магазинах типа закупаются не нубы а крутые пэрцы?

Как появятся деньги - куплю ещё один 4Т и тогда можно будет начать разбираться.

Лучше купи sata-контроллер нормальный и корпус под много sata-слотов. А диски, если тебе надо много терабайт в итоге, лучше брать не меньше 8ТБ уже.

Не «сильно дорого» а по адекватной цене. Сейчас это примерно 20000 за 8ТБ и чуть больше 10000 за 4ТБ, для не хлама. И да, они и поменяют в случае чего, и поставки у них не со склада на утилизацию а с нормального производства.

А в нормальных магазинах типа закупаются не нубы а крутые пэрцы?

Просто разумные люди.

Если оно в mirror (≈RAID-1), то может само отпустить со временем, но по USB я бы на это не надеялся. )=

В зеркале у меня SATA, на десктопе. Тут же МикроПК с USB3, попытка уменьшить шум и потребление.
А вопрос в «отпустит» это вопрос zfs. Надо этот том как то совсем чистым сделать (без ошибок), а сейчас он: «One or more devices has experienced an unrecoverable error.» - уберется ли это после zpool clear?
Но я хочу узнать что значит CKSUM и можно ли узнать что то конкретнее.

На всех питания хватило, а на этот не хватило?
Самая большая проблема для дисков — питание. И у USB с этим хуже всего.

Там USB3-SATA конвертеры со своим питанием.
И опять же, это обнаружилось после scrub, перед этим всё было чисто.

«One or more devices has experienced an unrecoverable error.» - уберется ли это после zpool clear?

Нет. Для восстановления пула другая команда, не помню, надо маны курить.

Там USB3-SATA конвертеры со своим питанием.

Кто гарантирует стабильность питания? И как?

Если смарт «0» то винт не причём. Прогнать хотя-бы на чтение «victoria» for Windows (бесплатного лучше вроде как ничего и нет). Только подключать напрямую без этих всех ЮСБи. Если график чтения без завалов, все атрибуты смарта в норме то вывод очевиден.

scrub in progress since Mon Jun 9 08:29:14 2025 28.6G scanned at 457M/s, 550K issued at 8.60K/s, 3.17T total 0B repaired, 0.00% done, no estimated completion time

Увидев - прогнал scrub ещё раз, теперь CKSUM=1.71K

Зачем? Scrub в процессе, не мешай ему закончить работу. Данный выхлоп говорит, что проверены метаданные 28 гигов и данные на 550К. Пока обнаружены ошибки в контрольных суммах. ZFS еще не успела проверить и попытаться исправить данные.

Если смарт «0» то винт не причём. Прогнать хотя-бы на чтение «victoria» for Windows (бесплатного лучше вроде как ничего и нет).

Зачем? Виктория не проверяет достоверность записанного. Она тупо читает и если без ошибок (диагностика винта) то типа всё в порядкке.

Только подключать напрямую без этих всех ЮСБи.

Нафига? Если мне надо добиться адекватной работы на USB.

Если график чтения без завалов, все атрибуты смарта в норме то вывод очевиден.

И какой же очевидный вывод? Озвучьте его.

Я же тупо сделал ещё один подтом zfs, отключил в нём компрессию и сказал:
$f3write .
Пусть забивает свободные 450Гб, а потом прочтём.

scrub in progress since Mon Jun 9 08:29:14 2025 28.6G scanned at 457M/s, 550K issued at 8.60K/s, 3.17T total 0B repaired, 0.00% done, no estimated completion time
Увидев - прогнал scrub ещё раз, теперь CKSUM=1.71K

Зачем? Scrub в процессе, не мешай ему закончить работу. Данный выхлоп говорит, что проверены метаданные 28 гигов и данные на 550К. Пока обнаружены ошибки в контрольных суммах.

Я немного перескакал... Отчёт я создал как раз в начале второго скраба, но его я запустил уже после завершения первого и он мне удвоил число ошибок чексуммы.

ZFS еще не успела проверить и попытаться исправить данные.

Я думаю, как раз проверка и исправления это результат скраба.

1. «Victoria» может много чего. Оно «не тупо читает», есть верификация, запись. Статистика по доступу к блокам, график. Даже «тупое» чтение проходит аппаратно на уровне накопителя со сверкой контрольной суммы блока ну и если он некоррекно считался то будет соотв тип ошибки например.

2. Пробуй дать отдельное питание на винт отдельным БП, например от нормального моста юсб-сата. Оно по габаритам вроде подходит под концепт «сделать компактно».

3. Если с НЖМД всё ОК при подключении через «родной» интерфейс очевидно что неверные чексуммы в zfs это непрвильно считанные/записанные данные при подключении другим способом. :) Где и как они искажаются эти данные можно ванговать. Ну например сраное питалово на контроллере моста сата-юсб, сам контроллер бракованый, китайский припой, кривой текстолит, микротрещина…

Проверка и исправление происходят при любом чтении. Читается блок, считается контрольная сумма, если не сходится, восстанавливается из копии.

Если scrub не нашел битых данных, можно сделать zpool clear и разбираться с диском/контроллером/кабелями, пока не стало поздно.

озоне

Ололо

твою бы великую мудрость, мне бы по раньше донести - узнать столько нервов-времени бы сэкономило (плачущий смайлик)

Это всё личный опыт.

Я уже огребал с дисками и по USB (больше всего повреждений, особенно с ZFS), и с UPS (с дисков плавно ушло питание и данные сильно побились), и с PSU (один диск стал стабильно троить, то отдавая данные без проблем, то рапортовал о битых данных под любой нагрузкой, не только на диски).

Ещё было окирпичивание контроллера китайского SSD при попытке dd if=/dev/random of=/dev/ada2.

Ну и несчётное количество флэшек, которым внезапно плохело до полной смерти.
Причём Kingston DataTraveler G100 ещё ни одна не сдохла… пока что.

Это значит выкинь диск, найденный на помойке (алиэкспрессе, озоне итд) и купи нормальный.

А нормальный это SAS, т.к. все остальное третий сорт не брак. А с SAS не нужен ZFS. Проблем солвд.

третий сорт не брак

Третьесортный брак :)

нормальный это SAS

Оно без нормального контроллера ничего не даст.

А к нормальному контроллеру нужен сервер. Который жрёт как не в себя. А топикстартер с помощью USB пытается экономить энергию (ценой своих нервов ☺).

Оно без нормального контроллера ничего не даст.

А к нормальному контроллеру нужен сервер. Который жрёт как не в себя

«Этот шарит» (с) )))

У меня дома полноценный 3U стоит. Правда, SAS-экспандер пока подключить не к чему, и подключать к нему тоже пока нечего, кроме тех SATA-дисков, которые установлены в SATA-экспандер (который я тоже весь использовать не могу, так как не хватает SATA на плате).

Но я не вижу смысла в SAS: объёмы меньше, цена выше, скорость средняя между HDD и SSD. Даже в проде уже давно используют Enterprise-grade SATA.

Я вообще-то SASом нимношк троллирую фанатов этих полумер с ZFS на SATA в подкровати ;) То же самое с фанатами btrfs, lvm, и говнорейдов. У большинства из них слишком много совободного времени. А на по-настоящему бескомпромиссное решение (зионы и пр. вторичка с выбитым ресурсом с помоек не считаются) денег не хватит.

А на по-настоящему бескомпромиссное решение (зионы и пр. вторичка с выбитым ресурсом с помоек не считаются) денег не хватит.

Linstor ?

А с SAS не нужен ZFS.

Каким волшебным образом?

На озоне продают то что приличные магазы не станут продавать (подделки, партии с большим процентом брака, б/у со скрученными смартами)

То ли дело покупать такой же шлак, но в обычном магазине. А более высокая цена не из-за качества, а потому что нужно оплачивать аренду торговых площадей и зарплаты менеджеров-консультантов. Житейские мудрости от firkax ★★★★★.

zfs
USB3 винтов

пул на юсбишных винтах это фреймворк для потери данных. Питание то хоть внешнее или прямо из usb портов тянешь? И чем тебе так SATA не нравится?

полноценный 3U

Сервера не корпусами измеряются. У меня вот в одном из 4U вообще нет жёстких дисков например.

Стойку можно дома поставить хоть в 42U. Вопрос «чтобы что?» Чтоб тут прохаживаться «кстати у меня 40см» и приосаниваться, как все эти настройщики подкроватных роялей ИТТ и рядом? Ну купите уже себе ЦОД и электростанцию к нему, а то это все децкие игрушки :)

пул на юсбишных винтах это фреймворк для потери данных. Питание то хоть внешнее или прямо из usb портов тянешь? И чем тебе так SATA не нравится?

У воена нет цели, только путь. И который он тоже периодически забывает :(

Чем им JBOD не нравится :) Мучают себя и свои дешманские диски, и лор будоражат вопросами.

Изопенисуально. Кого ты называешь «Приличный магазин»? Тех кто продаст сильно дорого и поменяет в случае чего? Эти «нормальные магазины», так же легко могут нарваться на подделки, бракованные партии, и.т.д.

Могут. Но во-первых вероятность ниже, а во-вторых у них не редкость, что с плавающей проблемой таки вопрос решится положительно в вашу пользу.

А диски, если тебе надо много терабайт в итоге, лучше брать не меньше 8ТБ уже.

Ваша правда! Не поленился посмотреть, Western Digital Ultrastar DC HC320 8 Тб HUS728T8TALE6L4 SATA 6Gb/s (SATA-III) получается даже чутка дешевле чем Western Digital Ultrastar DC HC310 4 Тб HUS726T4TALE6L4 SATA 6Gb/s (SATA-III).

Сейчас это примерно 20000 за 8ТБ и чуть больше 10000 за 4ТБ

Вот это примерно оно крайне сферично, на примере одного магазина, WD 8ТБ цены от 16628 до 48844 руб.

Да ну. 48к это видимо WD Gold причём одна из двух модификаций (вторая сильно дешевле), ещё пара дисков тоже немного выбивается из статистики (до 30к), все остальные - от 16 до 24, причём насчёт корреляции с качеством я не уверен.

Я вообще-то SASом нимношк троллирую фанатов этих полумер с ZFS на SATA в подкровати ;)

У меня как раз на подкроватном сервере (Supermicro + Intel Xeon) крутится ZFS на SATA (WD RE + WD Purple).

А на по-настоящему бескомпромиссное решение (зионы и пр. вторичка с выбитым ресурсом с помоек не считаются) денег не хватит.

Зачем дома это «бескомпромиссное решение», когда надёжности Enterprise-grade SATA-дисков даже с ≈75% ресурсом хватит с головой? Даже в тыртырпрайзе нередко диски крутятся долго, с ресурсом <50%, и ничего, никто не жалуется.

Вот если бы ты написал про китайский нонейм (или подделки, выдаваемые за брендовое железо/периферию), я бы тебя даже поддержал.

Этот тред был вопросом времени. (=
Я ему про это уже раза два писал, но он утверждал что всё будет хорошо.

Да ну. 48к это видимо WD Gold причём одна из двух модификаций

Угадали с первого раза.

(вторая сильно дешевле)

Да. 31454 руб. Но от этого ваше:

примерно 20000 за 8ТБ

Не становиться сферичнее.

Сервера не корпусами измеряются.

Мне лень в каждом треде расписывать железо. Я уже писал на ЛОРе какое у меня железо в 3U и в 1U. Сейчас 1U не используется, но он есть.
А если кто не помнит — не мои проблемы. (=

Сервера не корпусами измеряются.

И корпусами тоже. Ибо впихнуть невпихиваемое и охладить не охлаждаемое бывает необходимо.