LINUX.ORG.RU
Форум — Admin  

Какие fs кроме zfs ведут контроль дстоверности записи?

 , , ,


0

3

«Слышал» что zfs на этапе чтения данных - ведет проверку их crc.
Какие то из других fs - занимаются подобным?
А то появился тут недоssd, который даёт ошибки при проверке f3. Хочется хоть как то его использовать... Но это даже не классические бэды.... Они же читают данные... Но не те...

Уважамая общественность может что то посоветовать кроме: Выкинуть?

P.S. Но сейчас поставлю на него zfs, посмотрю её поведение с этим зверем...
P.P.S. Достоверность записи он никак не контролирует. Честно молча всё записал, но при чтении ругнулся на все файлы...

★★★

Последнее исправление: n0mad (всего исправлений: 1)
← Не присваевает IP Centos7 через Bridge
почему при подключении из linux к win по vnc при смене пользователя черный экран? →
 ← 1 2

Какие fs кроме zfs ведут контроль дстоверности записи?

На текущем этапе, возможность контроля целостности метаданных с помощью контрольных сумм, обеспечивают большинство современных fs, а вот в контроль целостности данных умеют, если не ошибаюсь только zfs и btrfs.

Но для пользовательских данных есть ведь и утилиты *sum, например md5sum, sha512sum, b2sum, …

QsUPt7S ★★★
()
Ответ на: комментарий от QsUPt7S

в контроль целостности данных умеют, если не ошибаюсь только zfs и btrfs

И ReFS ещё, но она, похоже, сдохла. В частности, её преследовали баги с ложными срабатываниями проверки целостности.

Ну и под любой ФС или сущностью device-mapper всегда можно использовать dm-integrity в простейшем режиме без снижения производительности.

anonymous
()
Ответ на: комментарий от greenman

На гитхабе f3 упомянут Flakyflash

Может это то, что тебе нужно

>Diagnose and salvage FAT- and exFAT-formatted flash media having flaky sectors

https://github.com/whitslack/flakyflash

Спасибо за наводку, но немного не то... Она работает лишь с FAT
По хорошему нужна прога, как f3, но оперирующая с более мелкими файлами. Не по гигабайту, а помельче.... Ну или кардинальнее - вычленяющая бэды в отдельные файлы.... Потом перенес их куда нибудь в /BAD и работай с диском дальше... Прям хоть на sh пиши...
По идее dd if=/dev/random of=100Mb-001.dat и потом его размножить и натравить md5sum... Потом глазками найти битые и вынести в /BAD

Но пока мне интересно как это отрабатывает zfs... Сейчас сделал там zfs и заапустил f3write... Обещает за 3ч управиться...

n0mad ★★★
() автор топика
Ответ на: комментарий от anonymous

>Выкинуть?

Да. Контроль целостности данных на этом этапе уже бесполезен, поскольку проблема выявлена.

Неспортивно :))) Вычленю бэды в отдельные файлы и посмотрю появятся ли новые...

Блин... И почему «>>» уже не отображаются как комментарий комментария? :(

n0mad ★★★
() автор топика
Ответ на: комментарий от intelfx

zfs, btrfs, bcachefs, reiser4.

Спасибо, посмотрю как отработают.

Но да:

>Выкинуть?

Выкинуть.

Не, это как раз интересный полигон для изучения поведения вышеуказанных fs. А вообще хороший прецедент для введения практики тестирования каждого нового приобретенного носителя... А то как то раньше и не думал что такое может быть...

n0mad ★★★
() автор топика
Последнее исправление: n0mad (всего исправлений: 1)
Ответ на: комментарий от greenman

https://wiki.archlinux.org/title/Badblocks#Before_filesystem_creation

Спасибо за наводку, но подумалось... А нафиг эти fs специфичные бэды?
Неужели никто не сотворил инструмента изолирующего бэды в отдельные файлы? Эту технологию ведь можно в любой fs использовать?

Хотя конечно сейчас есть fs сами собирающие «мусор» и упорядочивающие файлы...

n0mad ★★★
() автор топика
Ответ на: комментарий от greenman

>Неужели никто не сотворил инструмента изолирующего бэды в отдельные файлы?

А потом запустится дефрагментатор)

И об этом подумал...

Надёжнее пометить беды на уровне ФС.

Ну да, по наводке greenman увидел команду:

# mkfs.ext4 -c /dev/device
Use -cc to do a read-write bad block test.

И это попробую...

n0mad ★★★
() автор топика
Ответ на: комментарий от n0mad

Мда... На ntfs f3write писал со скоростью 14Mb/s
На zfs пишет со скоростью 4.5Mb/s
Теоретически он проверяет при записи...
Посмотрим что будет когда он дойдёт до бэдов...
Теоретически должен записать без ошибок...
Потом проверим f3read...
Если zfs и этот тест пройдёт, то лучшей fs нет :)))

n0mad ★★★
() автор топика
Последнее исправление: n0mad (всего исправлений: 3)
Ответ на: комментарий от no-dashi-v2

Неуместные многоточия не делают текст лучше

Пишу как умею...

Но скорость 4.5Mb/s вместо 14 на ntfs - расстраивает...

n0mad ★★★
() автор топика
Последнее исправление: n0mad (всего исправлений: 1)
Ответ на: комментарий от n0mad 

# f3read SSD4T 
F3 read 7.1
Copyright (C) 2010 Digirati Internet LTDA.
This is free software; see the source for copying conditions.

                  SECTORS      ok/corrupted/changed/overwritten
Validating file 1.h2w ...  398848/        0/      0/      0 - NOT fully read due to «Input/output error»
Validating file 2.h2w ... 1037568/        0/      0/      0 - NOT fully read due to «Input/output error»
Validating file 3.h2w ...  577280/        0/      0/      0 - NOT fully read due to «Input/output error»
Validating file 4.h2w ... 2063104/        0/      0/      0 - NOT fully read due to «Input/output error»
Validating file 5.h2w ... 2097152/        0/      0/      0
Validating file 6.h2w ... 1860096/        0/      0/      0 - NOT fully read due to «Input/output error»



f3 как то не совместился с zfs...

n0mad ★★★
() автор топика
Ответ на: комментарий от n0mad 

# zpool destroy SSD4T
# mkfs.ext4 -cc /dev/sdb5
mke2fs 1.44.5 (15-Dec-2018)
/dev/sdb5 contains a zfs_member file system labelled 'SSD4T'
Proceed anyway? (y,N) y
Creating filesystem with 15200512 4k blocks and 3801088 inodes
Filesystem UUID: cc33ef74-a260-42b4-8126-982ab05760c7
Superblock backups stored on blocks: 
	32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208, 
	4096000, 7962624, 11239424

Testing with pattern 0xaa: done                                                 
Reading and comparing: done                                                 
Testing with pattern 0x55: done                                                 
Reading and comparing: done                                                 
Testing with pattern 0xff: done                                                 
Reading and comparing:  92.46% done, 5:20:27 elapsed. (0/0/526 errors)errors)


Процесс идет... Правда он конечно не 4Т, юзабельных там 55G, именно столько занимает единственный раздел.

n0mad ★★★
() автор топика
Последнее исправление: n0mad (всего исправлений: 1)

Вы записали на диск данные, файловая системы записала свои контрольные суммы для проверки целостности. При чтении - ошибки, данные и/или контрольные суммы повреждены, файловые системы вам об этом и сообщают. Чего еще вы хотите добиться от файловой системы? Что-бы она восстановила исходные данные?

Правда он конечно не 4Т, юзабельных там 55G

Реально? Диск объёмом на 4000G, а «живого» там на 55G ? Меньше 10% ? Не проще ли купить что-то на замену?

Ну, если есть желание помучаться подольше - можно проверить утилитой badblocks, разбить диск на разделы так, что-бы исключить поврежденные области.

DiMoN ★★★
()

Уже в IDE дисках была реализована технология обнаружения и исправления ошибок передачи данных «на лету» при помощи 224-разрядного ЕСС-кода Рида-Соломона. При чтении контроллер молча исправит ошибку или скажет о ней, если не сумеет исправить.

anonymous
()
Ответ на: комментарий от anonymous

Современные SSD вообще держатся на кодах коррекции, а что толку? Даже на каком-нибудь Samsung ты однажды можешь обнаружить бит-флип в файле, о котором никто тебе не сказал. Не стоит безоглядно верить железу, оно преимущественно кривое.

anonymous
()
Ответ на: комментарий от DiMoN

Вы записали на диск данные, файловая системы записала свои контрольные суммы для проверки целостности. При чтении - ошибки, данные и/или контрольные суммы повреждены, файловые системы вам об этом и сообщают.

Не факт. Как раз я и пытаюсь оттестировать файловые системы на этом битом носителе. Большинство систем не проверяют контрольные суммы - он просто сообщают б ошибках чтения - которые им вернул контроллер.

Чего еще вы хотите добиться от файловой системы?

Ничего не хочу добиться, я хочу выяснить поведение файловых систем при:
1. Записи данных на сбойные сектора. - Какая то из систем заметит ошибку записи? И что сделает когда заметит?
2. Поведение системы при чтении данных со сбойных секторов.
3. Есть ли у системы динамический ремап данных? т.е. будут ли данные самостоятельно перебегать на эти сбойные сектора и обратно (в каких то системах заявлена автоматическая дефрагментация).

Что-бы она восстановила исходные данные?

Чтобы она об этом сообщила и изолировала БЭД сектора!
Сейчас же пошли системы в которых такая сущность вообще отсутствует.

Пока результаты таковы что:
(1)ntfs - Файлы записываются, а при чтении дают ошибки. При записи скорость порядка 15Мб/с
(2)zfs - Файлы записались. При чтении ВСЕХ файлов - ошибка. При записи скорость порядка 4.5Мб/с
(3)ext4 - Отформатировал с проверкой на бэды (mkfs.ext4 -cc). Пишу, раздел регулярно вываливаетсяв read-only. При записи скорость порядка 15Мб/с
(4)jfs - Первый раз отформатил без проверки бэдов. Записал без сообщений об ошибках. При записи скорость 17Мб/с. Читаю...
Трэш... Первые 20Gb


F3 read 7.1
Copyright (C) 2010 Digirati Internet LTDA.
This is free software; see the source for copying conditions.

                  SECTORS      ok/corrupted/changed/overwritten
Validating file 1.h2w ... 2097152/        0/      0/      0
Validating file 2.h2w ... 2097152/        0/      0/      0
Validating file 3.h2w ... 2097150/        2/      0/      0
Validating file 4.h2w ... 2097152/        0/      0/      0
Validating file 5.h2w ... 2097152/        0/      0/      0
Validating file 6.h2w ... 2097118/       34/      0/      0
Validating file 7.h2w ... 2097130/       22/      0/      0
Validating file 8.h2w ... 2097152/        0/      0/      0
Validating file 9.h2w ... 2097142/       10/      0/      0
Validating file 10.h2w ... 2097136/       16/      0/      0
Validating file 11.h2w ... 2097128/       24/      0/      0
Validating file 12.h2w ... 2097150/        2/      0/      0
Validating file 13.h2w ... 2097138/       14/      0/      0
Validating file 14.h2w ... 2097152/        0/      0/      0
Validating file 15.h2w ... 2097142/       10/      0/      0
Validating file 16.h2w ... 2097146/        6/      0/      0
Validating file 17.h2w ... 2097152/        0/      0/      0
Validating file 18.h2w ... 2097152/        0/      0/      0
Validating file 19.h2w ... 2097126/       26/      0/      0
Validating file 20.h2w ... 2096972/      180/      0/      0

Жесть! 12 файлов повреждено... Хотя на ntfs было только 4 битых файла... Хотя может они уже исчерпали количество записей... В финале опять проверю на ntfs.

>Правда он конечно не 4Т, юзабельных там 55G
Реально? Диск объёмом на 4000G, а «живого» там на 55G ? Меньше 10% ? Не проще ли купить что-то на замену?

Да, это паленый китайский SSD в котором флешка гигов на 55 а по инфе IDE он 4Тб. Купил на замену, идет, как придёт буду тестить... Запросто может прийти то же... Процесс распаковки и теста пишу на видео, для повышения вероятности возврата денег за подделку.

Ну, если есть желание помучаться подольше - можно проверить утилитой badblocks, разбить диск на разделы так, что-бы исключить поврежденные области.

Так я разбил, вычислил границу и сделал раздел на живых 55Гб, но живыми они оказались частично...Как раз по факту решил поиграться с работой разных ФС на больных носителях.

К сожалению ext4 разочаровал. Проверил на бэды при форматировании... Но раздел отваливается при записи.

Конечно с другой стороны это плюс - не встаёт на битом носителе, но какого цензореда он не пишет ни чего в сислог? Раздел отваливается, а в журнале тишина от ext4.

n0mad ★★★
() автор топика
Ответ на: комментарий от anonymous

Современные SSD вообще держатся на кодах коррекции, а что толку? Даже на каком-нибудь Samsung ты однажды можешь обнаружить бит-флип в файле, о котором никто тебе не сказал. Не стоит безоглядно верить железу, оно преимущественно кривое.

Вот на эту тему и хочется проверить fs. Хотя можно погуглить на предмет fs сверяющих контрольные суммы, а не зависящих от ошибок сообщённым контроллером. Хотя по идее эти самые бит-флипы контроллер должен проверять и возвращать ошибку чтения...

Но ценсоред! Почему в /var/log/messages тишина? Я уже проверил несколько fs, форматирую, пишу, читаю, в /var/log/messages - полная тишина.... Они не пишут логи об ошибках или я не там смотрю? Ведь f3read находит несоответствие данных.... Но fs не возвращает ошибок чтения....

n0mad ★★★
() автор топика
Последнее исправление: n0mad (всего исправлений: 1)
Ответ на: комментарий от n0mad

Так я разбил, вычислил границу и сделал раздел на живых 55Гб

Вообще в нормальных SSD «физические» блоки не соответствуют «логическим», контроллер SSD первую и вторую запись в один и тот же блок может поместить в разные физические. Но не знаю как это работает для китайских паленых ссд) Вы кстати прошивку не обновляли?

goingUp ★★★★★
()
Ответ на: комментарий от goingUp

Вообще в нормальных SSD «физические» блоки не соответствуют «логическим», контроллер SSD первую и вторую запись в один и тот же блок может поместить в разные физические. Но не знаю как это работает для китайских паленых ссд) Вы кстати прошивку не обновляли?

Я уж и не знаю... Называть ли флешку ssd? С одной стороны она и есть ssd, а с другой - палево. Открыл корпус, там на разъёме висит плата в которую вставлена какая то технологическая флешка и залито всё термоклеем...
Не думаю что в этом можно обновить прошивку...

n0mad ★★★
() автор топика
Ответ на: комментарий от n0mad

там на разъёме висит плата в которую вставлена какая то технологическая флешка

У обычной флешки такого умного контроллера нету. А еще у нее скорость и ресурс сильно пониже будут. Хмм)) Они вам вместо SSD продали флешку, меньшего размера, и уже прилично поюзаную? Надеюсь вы будете настаивать на полном возврате)

goingUp ★★★★★
()
Последнее исправление: goingUp (всего исправлений: 1)
Ответ на: комментарий от anonymous

обнаружить бит-флип в файле

тут был чувак который все файлы перечитывал раз в месяц. скорее всего он с его паранойей поступает правиль ря, а с другой стороны в raid-1 не могут одновременно две ячейки потерять заряд

rtxtxtrx ★★★
()

контроль дстоверности записи

на этапе чтения данных - ведет проверку их crc

Как-то поздновато. Достоверность записи - это использование Write-Read-Verify команды. Говорят, скорость последовательной записи уменьшается раз в 15-20.

gag ★★★★★
()
Ответ на: комментарий от rtxtxtrx

проверь память, просто замени плашки, если и с новой будут проблемы, то проц или ссд. я склоняюсь к тому, что проц отъедет скоро

Не смешите мои тапки... Это палёная SSD, и не буду я геморроиться ни с тем ни с другим... С процем или памятью - системы бы сыпались, а не данные тестов...

n0mad ★★★
() автор топика
Ответ на: комментарий от rtxtxtrx

что это за «SSD» не Samsung 990 на 1 терабайт за 3000?

Нет, это голимый нонейм USB 3.0 за 1000р
Сейчас заказал как раз за 3000 какой то безымянный V-NAND SSD 870 EVO
Получу, протещу и если зайдёт - возьму ещё два :)На фото выглядят достойно... Но по факту икс три.

Если сравнивать с самсунгом, то 4Tb 870EVO стоит 28 косарей.... Скорее всего палево...

n0mad ★★★
() автор топика
Ответ на: комментарий от n0mad

Ну ошибка при записи на диск может возникнуть только в результате порчи данных. Мне кажается, что вероятность ошибок в памяти на допотопном нетбуке выше чем проблем с ssd.

anonymous
()
Ответ на: комментарий от anonymous

Ну ошибка при записи на диск может возникнуть только в результате порчи данных. Мне кажается, что вероятность ошибок в памяти на допотопном нетбуке выше чем проблем с ssd.

Проблемы с памятью ведут к повисанием и сбоям ПО. Здесь этого не наблюдается. Вот как загрузил 5 дней назад, так и работает...
Но ты уговорил, повешу его на другой USB порт.... А то он висит в одном хабе с клавой и мышью...

n0mad ★★★
() автор топика
Последнее исправление: n0mad (всего исправлений: 2)
Ответ на: комментарий от n0mad

Но ты уговорил, повешу его на другой USB порт.... А то он висит в одном хабе с клавой и мышью...

Повесил, он отказался монтироваться....
Ну что же... Решил сделать «ход конём» - отформатировать с проверкой на ошибки:


# mkfs.jfs -c -L SSD4T58G /dev/sdb5
mkfs.jfs version 1.1.15, 04-Mar-2011
Warning!  All data on device /dev/sdb5 will be lost!

Continue? (Y/N) y
100 percent of the disk has been formatted.

Какого лешего он не сообщил о количестве бэдов?

Впрочем не помогло... Уже на 4 гигабайтном файле пошли ошибки...

n0mad ★★★
() автор топика
Ответ на: комментарий от n0mad

Отмени. Чудес не бывает. За 3000 ты только нетак на ALI купишь на 250 гигов. Причем там качество от модели к модели падает и так же между ревизиями. А лучше купить ADATA, она дешевая, тот же самый Netac, но гарантия от DNS.

Если тебе SATA нужен, то вот https://www.dns-shop.ru/product/b6519c87e3e51b80/480-gb-25-sata-nakopitel-adata-su650-asu650ss-480gt-r/ 480 гигов за 3200. Процент брака 0.72. Это как у кингстонов A400

rtxtxtrx ★★★
()
Последнее исправление: rtxtxtrx (всего исправлений: 1)
Ответ на: комментарий от n0mad

Впрочем не помогло... Уже на 4 гигабайтном файле пошли ошибки...

В итоге:


  Data OK: 57.85 GB (121318340 sectors)
Data LOST: 2.13 MB (4364 sectors)
	       Corrupted: 2.13 MB (4363 sectors)
	Slightly changed: 512.00 Byte (1 sectors)
	     Overwritten: 0.00 Byte (0 sectors)
Average reading speed: 19.19 MB/s

Ему всё хуже и хуже...

n0mad ★★★
() автор топика
Ответ на: комментарий от rtxtxtrx

Отмени. Чудес не бывает.

Уже едет... Из 20 отзывов все положительные, посмотрим.

За 3000 ты только нетак на ALI купишь на 250 гигов.

за 3000 1T от XrayDisk (128Gb по 900р Мне зашли...)

Причем там качество от модели к модели падает и так же между ревизиями. А лучше купить ADATA, она дешевая, тот же самый Netac, но гарантия от DNS.

Ну их нафиг, этих ДНСов...
Мой выбор: https://aliexpress.ru/item/1005005802997075.html
Я уже 2 таких взял на 128Gb - работают замечательно, 1Tb как раз стоит ~3000.

Если тебе SATA нужен, то вот https://www.dns-shop.ru/product/b6519c87e3e51b80/480-gb-25-sata-nakopitel-ada... 480 гигов за 3200. Процент брака 0.72. Это как у кингстонов A400

Буду иметь в виду, но пока от XrayDisk - только положительные впечатления. Заказывал на: «Factory Direct Collected Store», судя по названию - приличный дилер. Ещё брал какой то Goldenfir SSD - Тоже пришел как положено и работает, но внешне мне не понравился, у XrayDisk исполнение гораздо лучше.

n0mad ★★★
() автор топика
Ответ на: комментарий от MagicMirror

>«Factory Direct Collected Store», судя по названию - приличный дилер.

totally not a virus.exe

Ну из конца то в конец: https://aliexpress.ru/item/1005006012880811.html
«Goldenfir Official Store» - Думаю на AliExpress всё же это проверяется. Это 960Gb за 3600р. Но говорю, внешне мне 128Gb не зашел... Но работает. Поставил его в нетбук и залил XP/W7/Debian/Manjaro. Впрочем он у меня сейчас стоит на кухне в Debian Bookworm и поёт IP радио на блютуз колонку... Когда надо - забирается на эксперименты.

n0mad ★★★
() автор топика
Ответ на: комментарий от n0mad

У него цена просто слишком ни за кая, потому как даже чисто китай дороже стоит. Китайцы делают свои ssd, в них своя память от ymtc стоит и тп, но у них цена мало отличается от брендов, а экономия в них только на той же памяти 128-слойной, производство которой дешевле выходит + контроллер говенный ставит и получается на 20% дешевле максимум (от средней), а это нечто (xraydisk) дешевле в джва раза, что очень настораживает

anonymous
()
 ← 1 2
← Не присваевает IP Centos7 через Bridge
Admin
почему при подключении из linux к win по vnc при смене пользователя черный экран? →