«красная тряпка» - zfs. Диск без бэдов, а файл не читается! Есть какие мысли?

Надо восстановить этот файл из бэкапа.

Был уже топик, появилось 18 бэдов.

Пофиксил их HDD-Regenerator-ом.

Чувак, у тебя диск битый. Прекрати насиловать труп, пока труп не начал насиловать тебя.

Какие будут предположения?

Чего тут предполагать. Данные из сумрака не вылезут, регенератор заменил сбойный кластер нормальным, но внутри нули, контрольные суммы не сходятся.

Финита ля дата.

У меня была аналогичная ситуация с EXT4. В компьютере стоял ноутбучный 2.5 дюймовый диск Toshiba. Раз в несколько дней, EXT4 сбоила, писала всякие input/output error и бились соперблоки. Постоянно скакал с бубном вокруг диска, восстанавливал битые сектора, прогонял fsck.ext4.

Это длилось несколько недель, постоянные прогоны fsck давали только временный эффект. В итоге диск окончательно умер.

Пользователи выше говорят верно. Выбрасывай диск, если у тебя еще система будет зависать на несколько секунд, то точно диск дохнет.

Надо восстановить этот файл из бэкапа.

Это понятно. Я кажется понял. Раз ошибка, то и «не читается», пофигу что уже сам сектор читается.

Так для того зфс и нужна, она не дает тебе прочитать с диска фигню делая вид что там не фигня.

Был уже топик, появилось 18 бэдов.
Пофиксил их HDD-Regenerator-ом.

Чувак, у тебя диск битый. Прекрати насиловать труп, пока труп не начал насиловать тебя.

Нееее!!!! Если возник такой прецедент, надо изучить поведение этих «пациентов». На этом трупе валяется 3Т барахла, которое когда то было скачано с интернета (некоторое более 10л назад). Некоторое уже и не найдёшь... Конкретно это - имидж мультизагрузочной флешки на 8Gb от декабря 2014. x32, оно уже и нафиг не надо но вдруг!
Я диск пофиксил HDD-Regenerator-ом. Сейчас сначала прогоню scrub, потом по результату удалю этот файл и ещё раз прогоню scrub. Станет явно его поведение. И до кучи исполню f3write ./ и пусть валяются... пока не потребуется что то на него записать, а там f3read для контроля. Если бэд опять вылезет - изолирую в файле 1Gb а не 8Gb.
Могу себе позволить. Этот комп всё равно стоит просто так, но когда нибудь настрою на него бэкап :) Вот только - изучу инструментарий из соседних топиков. Пока он просто источник того что я рсинкал на свою, основную сейчас МикроПК.

Какие будут предположения?

Чего тут предполагать. Данные из сумрака не вылезут, регенератор заменил сбойный кластер нормальным, но внутри нули, контрольные суммы не сходятся.

Ну в общем то после того как поспал - всё немного прояснилось.
Чексумма не складывается, вот и read failed.

Финита ля дата.

Да плевать, не критческие.

Так для того зфс и нужна, она не дает тебе прочитать с диска фигню делая вид что там не фигня.

Воот! Я визуализирую преимущества zfs и борюсь со снобами утвержающими «zfs нельзя на USB3». Это не USB3, и это ни чего не меняет. Хорошая USB3 будет хорошо работать с zfs, а битый SATA - будет давать сбои.
Главное: zfs «показывает пальцем» где у тебя ошибка.

и борюсь со снобами утвержающими «zfs нельзя на USB3»

Ты в очередной раз борешься со своими данными, чувак.

Только в твоем сетапе она как Шива будет тебе показывать во все 41 сторону.

Похоже что zfs помнит что этот файл был с бэдом:

Есть какие мысли?

btrfs, завернутый в lvm, точно поможет. Никогда такого не было, чтоб опять не помог.

btrfs, завернутый в lvm, точно поможет.

Не понял, а NFS где в этой схеме? И ATAoE? :)

Это следующий этап ;)

борюсь со снобами утвержающими «zfs нельзя на USB3»

Ты конч. Без обид. Тебе и люди говорят, что USB для ZFS нельзя, и сама она неиллюзорно тебе намекает, но ты всё равно жаждешь выхватить граблями по своей больной голове.

Кончай.

Хорошая USB3

Осталось найти этого единорога по сколько-нибудь вменяемой цене. Во флэшки ставят мусорные чипы флэша. Плюс из-за габаритов у них плохое охлаждение, что ведёт к нагреву, что в свою очередь влияет на ошибки хранения.

По сабжу, если у тебя пул с избыточностью, то можно попробовать удалить диск и добавить его же чтобы запустить resilver

и борюсь со снобами утвержающими «zfs нельзя на USB3»

Ты в очередной раз борешься со своими данными, чувак.

Ну! Показываю своим примером как можно делать, а как нет :)
Самый большой вред моим данным - нанёс ЯД, купленный за деньги!
их линуксовый yandex-disk не сохраняет оригинальное время/дату файлов! Впрочем как выяснилась у них: «политика такая, иди вон если не нравится» - я ушел с коммерческой подписки.
В ходе эксперименнтов, выяснил что шифровальщик: cryfs хранит метаданные в своих внутренних структурах и через ЯД, на другой комп пролазит и владелец и права доступа и время/дата.
Но конечно производительность оставляет желать лучшего. 5Gb пул с данными - синкался несколько часов, встав раком по дороге. Помог только рестарт (размонтирование/примонтирование хранилища) шифровальщика.
В итоге наверное приду к своему хранилищу, вплоть до базирующемуся на ВПС, но хочется 1Т за 1к/год! Без заморочек, «под ключ».

борюсь со снобами утвержающими «zfs нельзя на USB3»

выхватить граблями по своей больной голове.

Типичное хамло. zfs на USB3 работает у меня уже более года на МикроПК, а до этого в 8портовой USB3 плате в десктопе. Вот ещё на десктопе я «отхватил» и понял что все винты, даже активные, с БП - надо цеплять исключительно через активный USB3 Хаб с блоком питания, иначе всё сыпется!

Ты конч. Без обид. Тебе и люди говорят, что USB для ZFS нельзя, и сама она неиллюзорно тебе намекает, но ты всё равно жаждешь

Опять хамство!
Какими доказательствами ты подкрепляешь своё «тебе говорят, что USB для ZFS нельзя»?.
Мой опыт показывает что она ведёт себя вполне стабильно.
ОШИБКА ДАННОГО ТОПИКА НА Toshiba с Power_On_Hours 40187
И Reallocated_Sector_Ct 0, хотя перед эти на нём нашлось 18 бэдов - отлеченных HDD Regenerator и проверенных smartctl -t long
Он не нашел проблем.
Я понимаю что он теперь ненадежен, но я и не храню на нём важных данных! На нём находится пул, куда я качаю всё с интернета, уже более 10 лет! Все другие данные, в том числе и важные - живут ещё на 2х Toshiba Enterprise, заметь с:512 bytes logical/physical

Model Family:     Toshiba 3.5" MG03ACAxxx(Y) Enterprise HDD
Device Model:     TOSHIBA MG03ACA400
Serial Number:    Z4FEK62FF
LU WWN Device Id: 5 000039 5fbd822f6
Firmware Version: FL1A
User Capacity:    4 000 787 030 016 bytes [4,00 TB]
Sector Size:      512 bytes logical/physical
Rotation Rate:    7200 rpm

Хорошая USB3

Осталось найти этого единорога по сколько-нибудь вменяемой цене. Во флэшки ставят мусорные чипы флэша. Плюс из-за габаритов у них плохое охлаждение, что ведёт к нагреву, что в свою очередь влияет на ошибки хранения.

У меня USB3 это переходники в которые включены HDD/SSD. Все по риемлемой цене, и включены в МикроПК за 8000р. Правда на днях в МикроПК отсох M2 слот. Перестала читаться SSD.Причём в USB3-SATA переходнике она читается, но! При загрузке с него - перестаёт читаться! Пока гружусь с MicroSD, но вот прямо сейчас освободил USB3 Hitachi 0.7T и хочу систему поставить на него.

По сабжу, если у тебя пул с избыточностью, то можно попробовать удалить диск и добавить его же чтобы запустить resilver

ПО САБЖУ Я ЖАЛОВАЛСЯ НА БЭД НА ВИНТЕ, В ДЕСКТОПЕ, ВКЛЮЧЕННОМ ПО SATA!
Не зеркале, а древнем винте!
Зеркало у меня на 7200 Enterprise винтах с 512Logical/physical

У меня такое ощущение, что я на ЛОРе смотрю сериал " n0mad и город тысячи проблемных дисков".

P.S. Не удержался, но это действительно сериал какой-то. Не обижайся, если что.

У меня такое ощущение, что я на ЛОРе смотрю сериал " @n0mad и город тысячи проблемных дисков".

Какая тысяча? Один SATA Toshiba 3T, хотя да - упомянал 2 сдохших Баракуды 3Т.

P.S. Не удержался, но это действительно сериал какой-то. Не обижайся, если что.

Вам не нравится смотреть или играть в сериале?
Ну были проблемы, выяснил что USB3 диски надо включать через активный хаб! Тех проблем больше нет. Но опять же, в случае с МикроПК. Если я сейчас этот хаб подключу к самосборному десктопу или Lenovo M79 - могут появиться, а может и нет.
Но сейчас в МикроПК отвалилась SSD, надо сделать какое то решение, бюджетное, из того что есть.
Сделаю какой ниббудь триал-бут :)
Там на маме распаян SSD с виндой,
Сейчас грузится или он или Debian с MicroSD стоящей в слоте, сейчас ещё добавлю USB3 HDD на 750Gb и буду выбирать в grub :)
Ща как раз и Debian 13 попробую!

Вам не нравится смотреть или играть в сериале?

Нет.

Особенно, когда ГГ по некоторым сложившимся причинам и тупой упрямостью каждый раз ходит по тем же граблям.

Оцени вероятность ошибок в двух ситуациях:

1. Диски из нормального магазина подключаются напрямую в SATA-контроллер на нормальной материнке через нормальный SATA-кабель.

2. Диски, которые ты купил на озоне, подключаются к USB через рандомный хаб + рандомный кабель в рандомный днищекитаекомп, которые ты тоже купил на озоне.

Как говорится, каждый хохочет как хочет. Но несколько уже надоело.

Кстати, да, есть у меня флешка на USB3.1, фирмы Adata, 65 ГиБ, мне в ноут еë втыкать страшно – греется аццки просто. А скорость работы просто ужасная, даже жуже, чем в режиме USB2 (если втыкать не до конца, она определяется как флешка на USB2). Понятно, что это кривой драйвер контроллера USB3 (uP72020x), но неприятно, пипец.

Тут ещë нормального БП не хватает. Вот, у меня в качестве «системного» SSD используется Samsung 870 Evo SATA6, и у него заявлено потребление аж целый 1 А по 5 В линии, тогда как уже почитай десятилетний HDD Seagate ST1000LM024 кушает вдвое меньше. Внимание, вопрос, кто будет жрать меньше энергии – десяток SSD, или столько же HDD таких же типов? :)

Не капси на меня! Я на тебя не капсил

Чем старее диск, тем вероятнее, что в один «прекрасный» момент он не сможет что-то, или даже всë прочитать. Сервопривод изнашивается, головки изнашиваются, конденсаторы теряют ëмкость, контакты окисляются, даже пыль проникает, несмотря на фильтры, которые тоже изнашиваются. Работающие 20+, и даже 10+ лет диски – скорее исключение из правил, чем правило.

Не капси на меня! Я на тебя не капсил

Ну сорри, дался вам этот USB, когда вопрос про SATA.

Не, ну так то проект забавный в плане изучения способов получить из говна и палок дешёвое хранение. Правда он врядли масштабируем и поэтому неясна итоговая ценность. Вот автор пришел к интересному выводу что надо хранить данные на дисках подключенных по усб с отдельным источником питания. Почему этот источник питания кажется ему более лучшим чем источник питания в ПК не ясно. Предположу, что потому, что он решил использовать одноплатник в качестве хоста и попросту неоткуда больше брать питание для дисков.

Так я цитировал твои слова про usb3 из этого же поста :) Но да, оффтоп

Спасибо всем, кто помогал решать вопросы, или нащупать решение.
Я надеялся что вам приятно помочь больному человеку, и я не вызываю отрицательных эмоций. Но Dimez меня уверил в обратном. Прошу прощения у тех кого я нервировал.

Повесил листочек с надписью маркером: «Не лезь в LOR, там тебе не рады». Надеюсь теперь это не забуду и не буду вас анноить.

Вам не нравится смотреть или играть в сериале?

Нет.

Воля Ваша!

Особенно, когда ГГ по некоторым сложившимся причинам и тупой упрямостью каждый раз ходит по тем же граблям.

Я не знаю что за хер ГГ, и ты не любишь жж, но если ты крутой перец - то должен помнить мою имторию и что у меня с памятью. Хорошо не овощ как Шумахер.

Оцени вероятность ошибок в двух ситуациях:

Зачем? Мне нужно найти решение моих проблем, что их нет у крутого пацана, с крутым железом - я допускаю.

Диски из нормального магазина подключаются напрямую в SATA-контроллер на нормальной материнке через нормальный SATA-кабель.

Я рад что у тебя есть такая возможность, я такой увы не имею. Живу на щах да каше, чтобы позволить китайщину с Озона.

Диски, которые ты купил на озоне, подключаются к USB через рандомный хаб + рандомный кабель в рандомный днищекитаекомп, которые ты тоже купил на озоне.

Именно, у меня нет 200к чтобы пойти в какой нибудь брендовый магазин и подозреваю там даже и 200к мало.
200к, у меня долг на кредитке...

Как говорится, каждый хохочет как хочет. Но несколько уже надоело.

Я то надеялся что у вас повышается ЧСД от того что помогли найти решенее, но если нервирую.... Бумажку написал и над столом повесил. Надеюсь больше не забудусь и не пойду сюда, Вас анноить.

ГГ

Главный герой.

Живу на щах да каше, чтобы позволить китайщину с Озона.

Рынок б/у к твоим услугам. Надо просто спросить совета, а не тащить непойми что непойми откуда. Да часто старое железо за так отдают. Навёл бы порядок в данных, кинул клич тут, 1-2Tb я бы запросто приютил на несколько лет бесплатно у себя дома.

200к, у меня долг на кредитке…

Самое время тариться китаебарахлом на озоне и морозить надолго свои деньги…

Я надеялся что вам приятно помочь больному человеку

man помощь. Если человек спрашивает совета, получает пачку, выбирает лучший и следует ему - приятно. Если человек навертел непойми чего, каждый раз решает проблему XY, огрызается, хамит, делая очевидное говно архитектурно - неприятно.

Почему USB для ZFS нельзя? Что за маразм?

Между прочим человек полезное дело делает. Тестирует ФС в необычных и весьма хардкорных условиях. Если он ещё и баги находит и отсылает - то вообще цены такому пользователю нет.

Тебе и люди говорят, что USB для ZFS нельзя

Где-то читал (или слушал) как чуваки сделали дипломный (если правильно понял) проект из одноплатника, юзб хаба и кучи флешек. Показывали на нём разные фишки зфс, в т.ч. что будет если подёргать определённые диски из массива вживую :)

У тебя какие-то бесконечные страдания с дисками. Лучше старые повыкидывать, ибо нервные клетки не восстанавливаются.

Я тебе даже больше скажу, для других ФС его тоже надолго нельзя ибо питание нестабильное, а нестабильное оно потому что по USB и питание и передача данных осуществляется, в отличие от SATA, где только передача данных, а питание отдельно подводится. Это как для студийной записи использовать микрофон на основе Bluetooth, например.

Проект - это исследовательская работа, тут я только за. ТС же хочет длительное надежное хранение.

смотрю сериал

Ты посмотри профиль поциента. В первом сезоне был компоспец, а тут у нас второй сезон.

Если кабель правильный, то проблемы со стабильностью питания будут не такие уж серьëзные. Питание, кстати – отдельная линия, и берется оно с силовой пятивольтовой линии.

Судя по признаниям ТСа, с качеством кабеля тоже могут быть проблемы.

нельзя ибо питание нестабильное, а нестабильное оно потому что по USB

Давно уже выяснили, что вопросы питания USB решаются активным концентратором и розеткой.

У меня ZFS на USB работает уже лет 5 – это побольше чем у ТСа. И проблем с дисками до сих пор не возникало. Правда я не на озоне покупал.

Был уже топик, появилось 18 бэдов.

Даже ежу понятно, что проблема у тебя с дисками.

Похоже что zfs помнит что этот файл был с бэдом

У ZFS есть автолечение, которое автоматически прячет плохое место на диске от пользователя. Но если диск посыпался, ZFS не поможет. Как следствие, тебе приходится постоянно решать проблемы с засиранием пулов:

Его теперь удалять и записывать вновь!

Я тебе даже больше скажу, для других ФС его тоже надолго нельзя ибо питание нестабильное, а нестабильное оно потому что по USB и питание и передача данных осуществляется, в отличие от SATA, где только передача данных, а питание отдельно подводится.

USB можно для любых ФС. В USB питание не менее стабильное, чем в SATA, нет никаких причин, по которым оно было бы менее стабильное. В USB питание подводится по отдельным контактам.

Это как для студийной записи использовать микрофон на основе Bluetooth, например.

Аналогия плохая. Проблема Bluetooth в основном в беспонтовых кодеках, а беспонтовые они, т.к. канал у Bluetooth на порядки меньше канала, который даёт провод. В случае с USB пропускная способность у него на порядки выше пропускной способности большинства дисков и никаких проблем с этим нет и быть не может.

Я скажу больше, если по USB подключается прям диск, а не просто флешка, то там вероятно будет SCSI, завёрнутый в USB. Т.е. даже протоколы плюс-минус те же самые.

Единственная теоретическая проблема с USB это расшатанные разъёмы. SATA-порты люди обычно не перетыкают по 10 раз в день, а с USB всякое бывает. Ну и использование всякого китайского хлама с глючными прошивками и тп. Но это же не проблема разъёма.

прогоняю HDD-Regeneratoer

Зря.

zpool scrub

Вот это надо было делать в первую очередь, а не лезть сторонними утилитами. ZFS прекрасно знала об этих бэдах и scrub имел не нулевую вероятность всё исправить.

а я ваще не понимаю нафига нужна zfs с данными без зеркала или raidz?

Работающие 20+, и даже 10+ лет диски – скорее исключение из

правил, чем правило.

у меня квантум 20гб иде ~2002 издох только в этом году

а с его прямой родни MAXTOR 6L080L4 (тоже IDE) - могу данные хоть щаз показать:

1 Raw_Read_Error_Rate 0x0029 100 253 020 Pre-fail Offline - 0
5 Reallocated_Sector_Ct 0x0033 100 100 020 Pre-fail Always - 0
7 Seek_Error_Rate 0x000b 100 093 023 Pre-fail Always - 0
10 Spin_Retry_Count 0x0026 100 100 000 Old_age Always - 0
11 Calibration_Retry_Count 0x0013 100 100 020 Pre-fail Always - 0
13 Read_Soft_Error_Rate 0x000b 100 100 023 Pre-fail Always - 0
196 Reallocated_Event_Count 0x0010 100 100 020 Old_age Offline - 0
197 Current_Pending_Sector 0x0032 100 100 020 Old_age Always - 0
198 Offline_Uncorrectable 0x0010 100 253 000 Old_age Offline - 0
199 UDMA_CRC_Error_Count 0x001a 200 200 000 Old_age Always - 0

А у сосоди эта вероятность рандомная, сегодня мы живы, а на утро мы трупп несмотря на то, что вчера смарт был прекрасен. У вынтерпрайз хардов мгновенная смерть тоже не нулевая, но в среднем по больнице это скорее больше редкость чем норма. Всё познается в сравнении.

странные выводы.

как можно выбрасывать диск если смарт не смотрел?

в среднем они просто не на 5 лет рассчитаны, а побольше. а мгновенная смерть у них вполне себе бывает, но обычно перед этим есть предпосылки - растёт задержка с ответом и т.п.

хуавей в карасе следти за этим и отстреливает такие диски не дожидаясь отказа.

у меня квантум 20гб иде ~2002 издох только в этом году

у меня на работе ST-225 вроде ещё валяются, уверен - рабочие, смарта, правда, по очевидным причинам не покажу )