Вопрос к гуру zfs - ЧТО ЗА ОШИБКА CKSUM?

Зачем дома это «бескомпромиссное решение»,

Тогда зачем дома сервер? ;) что за установка на полумеры?

надёжности Enterprise-grade SATA-дисков

Т.е. SAS, которые «сериал атачт скази» и вполне себе энтерпрайз, а SATA — это такой «SAS для бедных», которые утешаются какбэ «энтерпрайз грейд»(тм) маркетинговыми присказками.

Тогда зачем дома сервер?

У меня на нём крутятся:

• Наружу (через туннель на VPS):
  • Nextcloud
  • Jellyfin
  • Kanboard
  • Chyrp Lite
  • Gitea
  • Navidrome
  • OpenAI-compatible API (LLM)
  • Draw.io
  • Репозиторий бинарных пакетов для FreeBSD

Плюс к этому только в локальной сети (то что недоступно наружу) кое-что крутится. Средняя нагрузка: ≈30% CPU, ≈50% I/O, ≈70G RAM.

Т.е. SAS, которые «сериал атачт скази» и вполне себе энтерпрайз, а SATA — это такой «SAS для бедных», которые утешаются какбэ «энтерпрайз грейд»(тм) маркетинговыми присказками.

Что за бред ты несёшь? (=
Если ты пытаешься набросить на вентилятор, тренируйся на ком-нибудь другом, со мной не пройдёт. (=

Если ты пытаешься набросить

Ну ты ж набросил про «энтерпрайз грейд»(ТМ)... кокой же SATA энтерпрайз, кроме маркетинговой шелухи. То что его туда вкорячивают — это тупо кроилово. Как и у тебя дома.

тренируйся на ком-нибудь другом, со мной не пройдёт. (=

ой-все. Уже прошло — или чо ты так порвался-то? Можно например на свой счет не принимать, что к тебе лично не относится или... нельзя?

У меня на нём крутятся:

И большую часть времени оно... делает что?

Я тебе уже писал что ZFS по USB плохеет…

Почему?

Питание там очень сильно ограничено по токам, из-за этого напряжения при большом количестве потребителей предает и вся система встаëт колом. Так, собственно, будет вне зависимости от файловой системы.

Это я понимаю. Но питание может быть и внешнее и в нормальных боксах оно внешнее.

Ну, кроме питания, есть и другие недостатки, википедия перечисляет эти:

As with all standards, USB possesses multiple limitations to its design:

• USB cables are limited in length, as the standard was intended for peripherals on the same tabletop, not between rooms or buildings. However, a USB port can be connected to a gateway that accesses distant devices.
• USB data transfer rates are slower than those of other interconnects such as 100 Gigabit Ethernet.
• USB has a strict tree network topology and master/slave protocol for addressing peripheral devices; slave devices cannot interact with one another except via the host, and two hosts cannot communicate over their USB ports directly. Some extension to this limitation is possible through USB On-The-Go, Dual-Role-Devices[19] and protocol bridge.
• A host cannot broadcast signals to all peripherals at once; each must be addressed individually.
• While converters exist between certain legacy interfaces and USB, they might not provide a full implementation of the legacy hardware. For example, a USB-to-parallel-port converter might work well with a printer, but not with a scanner that requires bidirectional use of the data pins.

Уж не знаю, как это всё коррелирует с ZFS и жёсткими дисками, но судя по всему, дела обстоят не очень :) Как интерфейс для подключения одного-двух дисков и отдельного их использования – вполне норм, но в более сложных конфигурациях, как видим, работает хреново.

Уж не знаю, как это всё коррелирует с ZFS и жёсткими дисками, но судя по всему, дела обстоят не очень :) Как интерфейс для подключения одного-двух дисков и отдельного их использования – вполне норм, но в более сложных конфигурациях, как видим, работает хреново.

Вообще не видим

Тогда бы этой темы не было :)

Ну не факт, что всему виной usb

кроме маркетинговой шелухи

Ты чем-то можешь аргументировать свои пустые слова, или предлагаешь не верить одним крикунам, но верить крикуну с ЛОРа?

Я тебе уже писал что ZFS по USB плохеет…

Почему?

По питанию.

По питанию

Это понятно. А если питание внешнее?

Даже внешнее питание – не панацея. Токи, диаметры и материал проводников, наводки, наличие/отсутствие заземления, качество блоков питания… Слишком много факторов.

Токи, диаметры и материал проводников, наводки, наличие/отсутствие заземления, качество блоков питания… Слишком много факторов.

Это справедливо и для обычных БП и компьютеров, usb тут не при чем.

В любом случае, причина сбоя должна быть найдена. Сообщество предполагает, что проблема именно в USB. Ваше мнение?

Сообщество предполагает, что проблема именно в USB. Ваше мнение?

Я не знаю. Я всего лишь интересуюсь, по каким соображениям решили, что существует проблема ZFS на USB ?

mord0d писал выше

Я тебе уже писал что ZFS по USB плохеет…

Вот мне интересно, с чего он сделал такой вывод.

Аргумент про питание справедлив для любой фс и решается внешним БП.

Вот мне интересно, с чего он сделал такой вывод.

По всей видимости, началось всё отсюда.

Даже с внешним питанием оно может проседать. USB никогда не славилось стабильным питанием (если только это не TypeC с нормальным контроллером).

Так ни один гуру и не рассказал истины.
Я тупо. Создал подтом. Выключил там сжатие.
Сказал #f3write ./ и забыл
Через пару дней вспомнил. Сказал #f3read ./ и опять забыл.
Как вспомнил - ОШИБОК НЕТ! И опять забыл... Сейчас опять вспомнил.
Удалил файлы, получил 350 гиг свободного места, решил посмотреть что там с CKSUM

# zpool status T4T3S
  pool: T4T3S
 state: ONLINE
  scan: scrub repaired 0B in 08:52:54 with 0 errors on Mon Jun  9 17:22:08 2025
config:

	NAME         STATE     READ WRITE CKSUM
	T4T3S        ONLINE       0     0     0
	  T4T3STORE  ONLINE       0     0     0

Я так и не понимаю, что это было?

Думаю, надо мониторить, сопоставляя время в операциях с ZFS и сообщения ядра о состоянии USB. Тогда, может, хоть какая-то корреляция одного с другим будет. А так, стоит признать, все в один голос твердят, что проблемы из-за USB, но подтверждений ни у кого нет :)

Думаю, надо мониторить, сопоставляя время в операциях с ZFS и сообщения ядра о состоянии USB. Тогда, может, хоть какая-то корреляция одного с другим будет. А так, стоит признать, все в один голос твердят, что проблемы из-за USB, но подтверждений ни у кого нет :)

Меня радует что оно «само рассосалось», не потребовалось 4Т переливать через ещё один винт, чтобы починить. Там же было страшное: «One or more devices has experienced an unrecoverable error.»
Впрочем сейчас запущу scrub и пойду гулять, пусть шкрябает...

Хотя... Вспомнил... Вчера же переключал сетевой фильтр и пришлось выключать/включать всю систему из МикроПК и 7 USB3 винтов. И на эту тему, родился ещё один топик, про дефолтроут на том интерфейсе, где он запрещён.

По этой ссылке https://openzfs.github.io/openzfs-docs/msg/ZFS-8000-9P ходил?

По этой ссылке https://openzfs.github.io/openzfs-docs/msg/ZFS-8000-9P ходил?

Нет, сходил, долго читал и оно неожиданно кончилось, так и не рассмотрев вопроса CKSUM. И вообще по ихним сказкам - ЗЕРКАЛО на USB - самое то, если на одном из дисков - данные испортятся в результате передачи - то они рплицируются с зеркального (Конечно букв USB при описании этого не упомянается).
А у меня и зеркала нет. Просто отдельно висящий на USB, пул.
Вот обещанный scrub - забыл запустить :( - потерял 5 часов.

Просто отдельно висящий на USB, пул.

А накой тебе там ZFS то?

Gitea

Попробуйте forgejo. Там, как минимум, есть мои коммиты :)

Просто отдельно висящий на USB, пул.

А накой тебе там ZFS то?

1. Как ни странно, но zfs поможет определить повреждение данных на USB, если оно будет (Указав испортившиеся файлы).
2. Упаковка
3. Подтома, позволяющие монтировать их в любую точку системы и это сохраняется после перезагрузки.
4. Можно сделать стотыпяцот подтомов и трактовать их как разделы, и на всех общее свободное место.
5. Дедупликация. Компрессия 36% это неплохо... Хотя странный это параметр.
#zpool list

.....
NAME    SIZE  ALLOC   FREE  CKPOINT  EXPANDSZ   FRAG    CAP  DEDUP    HEALTH  ALTROOT
T4T3S  3.62T  3.17T   466G        -         -     0%    87%  12.46x    ONLINE  -

Что значит 12.46x?

Учитывая что включен он лишь на:
NAME USED AVAIL REFER MOUNTPOINT
T4T3S/:Dedup 15.1G 350G 14.5G /zfs/=T4T3S/:Dedup
Занимают эти 15.1G 24G Зеркал сайтов. И подтома удобны чтобы видеть сразу объём разных датасетов, просто вместо каталога - создай подтом и можно будет всегда видеть объём данных в нём.

В общем занимательная FS. И для упаковки - можно пару десятков алгоритмов выбрать. Начиная от скоростных и заканчивая жесткими с дедупом. Но процессор они жостко греют при rsync.

А как то я процессоры сравнивал, через rsync zfs на zfs. Несчастный N4000 легко тягался с стареньким P4. При rsync - процессор легко разогревается с 40 градусов до 80.

scrub прогнал, бцду наблюдать за появившимися CKSUM

# zpool status T4T3S
  pool: T4T3S
 state: ONLINE
status: One or more devices has experienced an unrecoverable error.  An
	attempt was made to correct the error.  Applications are unaffected.
action: Determine if the device needs to be replaced, and clear the errors
	using 'zpool clear' or replace the device with 'zpool replace'.
   see: https://openzfs.github.io/openzfs-docs/msg/ZFS-8000-9P
  scan: scrub repaired 0B in 08:35:44 with 0 errors on Mon Jun 16 05:31:39 2025
config:

	NAME         STATE     READ WRITE CKSUM
	T4T3S        ONLINE       0     0     0
	  T4T3STORE  ONLINE       0     0 1.13K

errors: No known data errors

А накой тебе там ZFS то?

Икстатида. Какие альтернативы? Вот есть зоопарк дисков... (Хотя там и так на 3х ntfs)

...процессор легко разогревается с 40 градусов до 80.

Много чот.

...процессор легко разогревается с 40 градусов до 80.

Много чот.

Вот поэтому я и решил что rsync zfs>zfs - хороший бенч математического сопроцессора. Есть мысли, как нибудь сделать какую нибудь тестовую флешку, чтобы можно было загрузиться с неё на любой машинке и исполнить тестовый скрипт. Ну или USB3 SSD...
Но пока не совсем понимаю как правильно сделать внешний диск с которого сможет грузиться и Legacy и UEFI, а то разные машинки попадаются, и не всегда тебе дадут поковыряться в чужом BIOS, да и не хочется - воизбежании.

Для такого кейса нужно флешку с GPT с защитным MBR, отдельный /boot в FAT32 и GRUB2.

Да, идея привлекательная. Но вот вопрос: только ли математический сопроцессор задействован?

Попробуйте forgejo.

Зачем что-то менять, если у меня всё работает и меня это устраивает?

Там, как минимум, есть мои коммиты :)

Не тянет на киллерфичу. (=
Вот если бы там был CI/CD без гребли с препятствиями, но в этом Forgejo от Gitea никуда не ушёл. )=

Аргумент про питание справедлив для любой фс и решается внешним БП.

давай ты расскажешь нам в контексте ZFS, да?

Но пока не совсем понимаю как правильно сделать

чтобы убить шершней надо атомную бомбу!

давай ты расскажешь нам в контексте ZFS, да?

Давай про это подробно расскажет предыдущий оратор? Он говорил, что ZFS на USB плохеет. Вот мне и интересено, почему только именно zfs?

Давай про это подробно расскажет предыдущий оратор? Он говорил, что ZFS на USB плохеет. Вот мне и интересено, почему только именно zfs?

Как вариант - всем плохеет, но они этого не чуют :)
А zfs crc сечёт и сразу панику поднимает.

Тиарититичцки, надо винт, на котором поплохело zfs - форматнуть ext4 и запустить f3write,f3read и посмотреть что получится на практике.

Там есть forgejo runner, имеет даже некоторую совместимость с github actions.

с чего он сделал такой вывод

Из опыта.

Аргумент про питание справедлив для любой фс

Вот только нагляднее это показывает ZFS и Btrfs. Первая шибко ругается, вторая просто превращается в тыкву. Думаю, с bcachefs будет так же.

и решается внешним БП

Даже UPS со стабилизатором ничего не гарантирует. С плавающим напряжением становится плохо уже контроллеру диска.

Он говорил, что ZFS на USB плохеет.

Подозреваю, что zfs просто явно и наглядно показывает проблемы с железом у ТС, ибо ТС устраивает спецолимпиаду и скупает всякое самое дешёвое дерьможелезо по маркетплейсам (с возвратами и т.д.), пытается хранить на этом дерьможелезе Очень Важные для него данные, надеясь, что вот тут то с помощью zfs он ущипнул бога за бороду. На совет «не делай так» (да и вообще на любые советы) очень обижается и говорит, что раз он упал, поэтому теперь может делать как хочет и все обязаны отвечать на его ответы, ибо он даёт отличный полигон для тестирования.

Не, крайне похвально, конечно, что ТС пытается развиваться, как может и не сидит овощем на пособие. Но, честно говоря, это какой-то бег на месте с периодическими прыжками назад и заваливаниями вбок.

Не проще ли купить нормальный корпус и подключить всё по-человечески? Ради чего эти извраты с usb?

P.S. Предыдущий коммент не мой.

Он говорил, что ZFS на USB плохеет.

Подозреваю, что zfs просто явно и наглядно показывает проблемы с железом у ТС,

Именно, другие фс - молча пишут битые данные, а zfs проверяет.

ибо ТС устраивает спецолимпиаду

Просто у ТС - нет денег на бренды, и ТС знает что дерьмо попадается не только на маркетплейсах.

и скупает всякое самое дешёвое дерьможелезо по маркетплейсам (с возвратами и т.д.),

Ну если Вы, можете себе позволить ноутбук за50к+, я рад за Вас. Мне приходится пытаться что то выжать из маркетплейсов.

пытается хранить на этом дерьможелезе Очень Важные для него данные,

Я ИКСТРИ, я не знаю всех тонкостей пиратства, я верю что Hitachi это Hitachi, а Toshiba это Toshiba.А так - время покажет. Часть важной инфы (одна из реинкарнаций Фотобазы) - живёт на USB3 1Т Toshiba, купленном здесь, в местном магазине. И представь, там кажется начали заводиться бэды.

надеясь, что вот тут то с помощью zfs он ущипнул бога за бороду.

Из каких моих слов Вы сделали такой вывод?

На совет «не делай так» (да и вообще на любые советы) очень обижается

Цитату пожалуйста. Я обижаюсь на унижения, а не советы. Благо много порядочных советчиков, которые подскажут без растопырки пальцев.

и говорит, что раз он упал, поэтому теперь может делать как хочет

Вообще, каждый может делать и делает как хочет.

и все обязаны отвечать на его ответы, ибо он даёт отличный полигон для тестирования.

Цитату в студию! Где я утверждал что кто то «обязан»?

Не, крайне похвально, конечно, что ТС пытается развиваться, как может и не сидит овощем на пособие. Но, честно говоря, это какой-то бег на месте с периодическими прыжками назад и заваливаниями вбок.

Ой вот только не надо. У меня есть очень ограниченный бюджет, и я пытаюсь как то уложиться в него, а вы начинаете унижать... Ну нет у меня таких средств, как у вас - мне теперь упасть и не отсвечивать?

Не проще ли купить нормальный корпус и подключить всё по-человечески? Ради чего эти извраты с usb?

Сейчас сижу перед 6 корпусами, с компьютерами...
«По человечески» это как? Застотыщпяцот? Вот у меня не получается засунуть в обычный корпус - более 4 винтов... И переехать с ним в другой город - проблематично. Крупный... Имеющиеся у меня десктопы потребляют 150Вт+, а МикроПК с 7 USB3 винтами и монитором - 70Вт (Данные умной розетки). И узбогойтезь! Есть у меня десктоп с 2*4Т в зеркале и 3Т сверху. Вот с него я уже данные слил на USB3 и выключил эти 150+Вт. И МикроПК+Винты - легко утаптываются в рюкзак, в отличие от «нормального» десктопа.

scrub прогнал, бцду наблюдать за появившимися CKSUM

Как и ожидалась - перезагрузка обнуляет CKSUM, появившиеся после scrub.

# zpool status T4T3S
  pool: T4T3S
 state: ONLINE
  scan: scrub repaired 0B in 08:35:44 with 0 errors on Mon Jun 16 05:31:39 2025
config:

	NAME         STATE     READ WRITE CKSUM
	T4T3S        ONLINE       0     0     0
	  T4T3STORE  ONLINE       0     0     0

errors: No known data errors