Какие fs кроме zfs ведут контроль дстоверности записи?

Думаю на AliExpress всё же это проверяется

Как тогда продаётся «Kungston»? Или перешитые под 2TB 128-и гиговые?

Goldenfir

Впервые вижу. 90% отбракованные или refubrished чипы от более дорогих брендов.

Это 960Gb за 3600р

Не факт даже что там реально 960gb.

Я все посмотрел на али. nvme от этой конторы продаются по цене, что и всякие netac, ally, adata, те ничего криминального, жить должен. Но 3000 за терабайтник это маловато, потому как чуть ли не по себестоимости. Может они каличные какие-то. Сасунг когда выяснилось, что 980 на 1 тб безбуферники - один сплошной брак, урезал им цену в два раза и устроил акцию, чтобы их сбагрить

Отформатировал под ntfs

  Data OK: 57.92 GB (121460922 sectors)
Data LOST: 3.19 MB (6526 sectors)
           Corrupted: 3.19 MB (6525 sectors)
    Slightly changed: 512.00 Byte (1 sectors)
         Overwritten: 0.00 Byte (0 sectors)
Average reading speed: 18.61 MB/s

При чтении - ошибки, данные и/или контрольные суммы повреждены, файловые системы вам об этом и сообщают.

Прикольно, ну допустим и то и то записалось без ошибок (допустим) а как узнать что и то и то читается без ошибок ?

Я все посмотрел на али. nvme от этой конторы

От какой конторы?

продаются по цене, что и всякие netac, ally, adata, те ничего криминального, жить должен. Но 3000 за терабайтник это маловато, потому как чуть ли не по себестоимости. Может они каличные какие-то.

Сейчас коротко тестанул 128Gb XrayDisk (Смонтировал небольшой виндовый ntfs)
Тестил f3write и f3read

Average writing speed: 23.79 MB/s
...
  Data OK: 23.79 GB (49892632 sectors)
Data LOST: 0.00 Byte (0 sectors)
               Corrupted: 0.00 Byte (0 sectors)
        Slightly changed: 0.00 Byte (0 sectors)
             Overwritten: 0.00 Byte (0 sectors)
Average reading speed: 103.19 MB/s

23 мегабайта - это слишком мало для ssd. У них 100-200 мегабайт должно быть. В начале 500, а потом до 100 проседает, так как slc-кеш исчерпывается и тп. Это скорость на уровне флешки. Позор какой-то

Прикольно, ну допустим и то и то записалось без ошибок (допустим) а как узнать что и то и то читается без ошибок?

По отсутствию ошибок проверки контрольных/хэш-сумм.

Ему всё хужеет и хужеет. Завершаю «тесты», практически труп…

Может всё-таки отформатировать в exfat и попробовать flakyflash

https://github.com/whitslack/flakyflash

По отсутствию ошибок проверки контрольных/хэш-сумм.

Объясняю по другому. Считал данные и контрольные суммы, что то одно из них считалось с ошибкой, как узнать что ?

P.S. Я пытаюсь показать что считать контрольную сумму и отдельно писать ее на диск, это бред.

>Сейчас коротко тестанул 128Gb XrayDisk (Смонтировал небольшой виндовый ntfs)

23 мегабайта - это слишком мало для ssd. У них 100-200 мегабайт должно быть. В начале 500, а потом до 100 проседает, так как slc-кеш исчерпывается и тп. Это скорость на уровне флешки. Позор какой-то

Позор - это делать выводы не имея достаточных данных.
Выше видим что я смонтировал ntfs, видимо она даёт такой оверхид.
Ну или что то ещё, с этого же SSD работает сам Linux. Сейчас запустил на другом компьютере, на другом таком же XrayDisk подключенным по SATA.

fs: jfs

#f3write f3 
F3 write 8.0
Copyright (C) 2010 Digirati Internet LTDA.
This is free software; see the source for copying conditions.

Free space: 9.31 GB
Creating file 1.h2w ... OK!                         
Creating file 2.h2w ... OK!                         
Creating file 3.h2w ... OK!                          
Creating file 4.h2w ... OK!                          
Creating file 5.h2w ... OK!                          
Creating file 6.h2w ... OK!                        
Creating file 7.h2w ... OK!                        
Creating file 8.h2w ... OK!                        
Creating file 9.h2w ... OK!                        
Creating file 10.h2w ... OK!                       
Free space: 0.00 Byte
Average writing speed: 45.31 MB/s

#f3read f3 
F3 read 8.0
Copyright (C) 2010 Digirati Internet LTDA.
This is free software; see the source for copying conditions.

                  SECTORS      ok/corrupted/changed/overwritten
Validating file 1.h2w ... 2097152/        0/      0/      0
Validating file 2.h2w ... 2097152/        0/      0/      0
Validating file 3.h2w ... 2097152/        0/      0/      0
Validating file 4.h2w ... 2097152/        0/      0/      0
Validating file 5.h2w ... 2097152/        0/      0/      0
Validating file 6.h2w ... 2097152/        0/      0/      0
Validating file 7.h2w ... 2097152/        0/      0/      0
Validating file 8.h2w ... 2097152/        0/      0/      0
Validating file 9.h2w ... 2097152/        0/      0/      0
Validating file 10.h2w ...  646040/        0/      0/      0

  Data OK: 9.31 GB (19520408 sectors)
Data LOST: 0.00 Byte (0 sectors)
	       Corrupted: 0.00 Byte (0 sectors)
	Slightly changed: 0.00 Byte (0 sectors)
	     Overwritten: 0.00 Byte (0 sectors)
Average reading speed: 107.98 MB/s

И из конца то в конец...

# dd if=/dev/sdc of=/dev/null bs=1048576 count=1024
1024+0 записей получено
1024+0 записей отправлено
1073741824 байт (1,1 GB, 1,0 GiB) скопирован, 7,1455 s, 150 MB/s

P.S. Я пытаюсь показать что считать контрольную сумму и отдельно писать ее на диск, это бред.

т.е. Вы будете доверять диску на котором возникла ошибка в контрольной сумме? Сие несоответствие это уже знак ущербности носителя...

Считал данные и контрольные суммы, что то одно из них считалось с ошибкой, как узнать что?

Во-первых, ты не можешь их считать без инструментов отладки/интроспекции ФС, у тебя уже EIO в юзерспейсе. Во-вторых, это не важно с точки зрения пользователя/администратора.

Я пытаюсь показать что считать контрольную сумму и отдельно писать ее на диск, это бред.

Что об этом говорят разработчики современных ФС, они в курсе? 🤔

>Думаю на AliExpress всё же это проверяется

Как тогда продаётся «Kungston»? Или перешитые под 2TB 128-и гиговые?

У фирмы продающей перешитые Кингстоны - название как у официального поставщика Кингстона?

>Goldenfir

Впервые вижу. 90% отбракованные или refubrished чипы от более дорогих брендов.

А может это китайский брэнд? https://www.goldenfir.com/

>Это 960Gb за 3600р

Не факт даже что там реально 960gb.

Проверю 4T за 3т...

считать контрольную сумму и отдельно писать ее на диск

Кстати, отдельно никто ничего не пишет, всё вместе. Это не то же самое, что записать файл, а потом рядом сохранить ещё один, с хэшем.

А может это китайский брэнд? https://www.goldenfir.com/

А какой, по-твоему? Там на главной написано, что именно китайский.

т.е. Вы будете доверять диску на котором возникла ошибка в контрольной сумме?

Как Вы узнаете что там ошибка ? Контроллер если не может считать данные то сообщает об ошибке, все остальное ерунда.

P.S. Есть еще не одно (не ерунда) это если при записи доп. генерят какую то доп. информацию (код Соломона и т.д.) и если что не считается то есть возможность восстановить. Но это не ВАШ случай.

Давно еще во времена CD дисков я изучал этот вопрос и это было актуально …

Контроллер если не может считать данные то сообщает об ошибке

Или выдаст кучу мусора, потому что наговнокодили разработчики. Обычное дело.

Как Вы узнаете что там ошибка ?

Если данные не совпадают с контрольной суммой - то пофигу где ошибка... ОНА ЕСТЬ!

Контроллер если не может считать данные то сообщает об ошибке, все остальное ерунда.

В моём случае не сообщает, и не зря во всяких zfs (по слухам, сам ещё не проверил) ввели контрольные суммы...

P.S. Есть еще не одно (не ерунда) это если при записи доп. генерят какую то доп. информацию (код Соломона и т.д.) и если что не считается то есть возможность восстановить. Но это не ВАШ случай.

Почему? Вдруг есть FS с такими фичами? Да и физически, внутри флэшки возможно используются такие коды и возможно в случае ошибок - какой нибудь сборщик перемещает данные в другое место или просто их обновляет. Как раз это покрыто тайной... Но не зря например Самсунг одно время давал пожизненную гарантию на свои флешки.... (Может и сейчас даёт, но давно не покупал брендовые флешки...)

Давно еще во времена CD дисков я изучал этот вопрос и это было актуально …

До времен CD были ещё АРВИДы... Вот там корректирующие коды были на высоте...Не помню подробности, но вроде он писал 1Гб на час видео...
И где то такой до сих пор валяется, но вот кабель сопряжения с видаком - давно потерян...
Вот это была революционная разработка - стример из видеомагнитофона...
LOL! Написал слово стример и задумался... Погуглил, оказывается нынче стример это совсем другое :)))
Хотя... Погуглил и оказывается есть современные стримеры от IBM с ёмкостью ленточек по 220 Терабайт (Это было в 2015 году), а в 2017 показатель достиг 330Тб на ленту...

Может есть некоторая фс с сжатием. По идее достаточно попытаться прочитать часть файла и если ошибка, то значит побито, т.к. распаковка вернёт ошибку.

В NTFS сжатие есть

Ладно давай по другому.

Как Вы узнаете что там ошибка ?

Если данные не совпадают с контрольной суммой - то пофигу где ошибка… ОНА ЕСТЬ!

Откуда у ВАС эта сумма ?

Может есть некоторая фс с сжатием. По идее достаточно попытаться прочитать часть файла и если ошибка, то значит побито, т.к. распаковка вернёт ошибку.

Спасибо за акцент! Вот как оказывается всё просто :))) - ставишь fs со сжатием и у тебя автоматическая проверка. Идея для нового теста этого больного накопителя... Если он доживёт до него... Сейчас занимаюсь срезанием термоклея, для извлечения технологической USB флешки воткнутой в плату контроллера...

Откуда у ВАС эта сумма ?

Посчитал перед записью.... Впрочем другой собеседник поставил перед фактом того что это уже реализовано :))) Включаешь упаковку в fs и ошибки должны вылезти...

Конечно, китайский, там сообщение 404-ой страницы как бы намекает:

哇哦，出错啦！

есть современные стримеры от IBM с ёмкостью ленточек по 220 Терабайт (Это было в 2015 году), а в 2017 показатель достиг 330Тб на ленту…

С такими числами они есть только у исследователей-лаборантов. И ещё надо проверить, что имеется ввиду подлинная ёмкость, а не псевдо-гипер-размер (благодаря удачно сжатым данным).

На практике жёсткие диски догнали ленту с её максимумом в 18 TB LTO-9 где-то летом 2020-го (WD UltraStar HC550 18 TB), и перегнали зимой 2021-22-го (WD UltraStar HC560 20 TB). Хотя, вроде, у IBM есть трюк с форматированием в 20 TB. Но летом 2022-го вышли диски на 22 TB (WD UltraStar HC570). Хотя, смотрю, IBM готовит прям сюрприз в 50 TB. Но там, наверняка, ценник уйдёт в пятизначную позицию в долларах. Да и стример потребляет 57 ватт и должно эксплуатироваться в очень узком температурном диапазоне 16-25 градусов.

Но надо учитывать нюанс, что если zfs не может сжать данные, то она отключает сжатие.
Есть ли опция в zfs включающая принудительное сжатие в любом случае? Она была бы полезна для проверки накопителя.
Пропатчить и пересобрать zfs наверно можно.
Или в zfs всё уже есть, crc и т.д.?

Как такой бред вообще посещает ваши головы?

Или в zfs всё уже есть, crc и т.д.

Там по умолчанию SHA256. В Btrfs по умолчанию CRC32C, но есть и выбор хэш-функций. Так что это всё не нужно.

и эти контрольные суммы только для блоков. мне не совсем ясно как они сжимают данные, ясно что там чанки берутся и сжимаются, но я не нашел размер этого чанка. Но, например, дамп sql размером 23 гига 3.7GiB весит, при zstd:3. Мож чем-то типа трейса можно увидеть по сколько килобайт-мегабайт он за раз считывает чтобы разжать их

Могу только предложить посмотреть исходные коды. В документации тоже может быть, но сам такого не помню, да и не интересовался особо сжатием.

Once the compression is set, all newly written data will be compressed, i.e. existing data are untouched. Data are split into smaller chunks (128KiB) before compression to make random rewrites possible without a high performance hit.

там такое написано, но на 128 килобайтах не добиться существенного сжатия, а потому данные должны большими кусками сжиматься

https://github.com/torvalds/linux/blob/70d201a40823acba23899342d62bc2644051ad2e/fs/btrfs/compression.h#L26

128 килобайт. Если подкрутить до 32 мегабайт то сжатие лучше будет…

I was also looking at the source code and it seems relatively straight forward to change BTRFS_MAX_COMPRESSED and BTRFS_MAX_UNCOMPRESSED to SZ_128M or somewhere in between like SZ_8M. Do you have any thoughts on how well that might work?

кто-то даже уже сделал

Или в zfs всё уже есть, crc и т.д.?

Как раз видел слухи о том что zfs считает crc всего что пишет и при чтении сверяет... На том фейк ssd данные вообще не могли прочитаться... Форматировал zfs, писал f3write, затем читал f3read и он на каждый файл говорил что не может его прочитать.

Откуда у ВАС эта сумма ?

Посчитал перед записью.... Впрочем другой собеседник поставил перед фактом того что это уже реализовано :))) Включаешь упаковку в fs и ошибки должны вылезти...

Факир был пьян и фокус не удался. Залил на эту больную флешку, на ntfs с упаковкой - данные с помощью f3write, f3read показал ошибки, но нигде в журналах не фигурировали ошибки чтения или контрольных сумм. Данные читались как порядочные...

Перезагрузился в Windows7, воткнул флешку, с помощью Far прекрасно всё скопировал в nul, никто не ругнулся о том что флешка битая. Все спокойно отдали фальшивые данные...

У него цена просто слишком ни за кая, потому как даже чисто китай дороже стоит.

Если бы всё знать...

Китайцы делают свои ssd, в них своя память от ymtc стоит и тп, но у них цена мало отличается от брендов, а экономия в них только на той же памяти 128-слойной, производство которой дешевле выходит + контроллер говенный ставит и получается на 20% дешевле максимум (от средней),

Посмотрим, я ещё на одну аферу вписался, но из 20 отзывов все хорошие... 4Т SSD за 3000р.

а это нечто (xraydisk) дешевле в джва раза, что очень настораживает

Этим уже пользуюсь, взял 2 по 128Gb - пока работают без нареканий.
Если очередной нонейм окажется фейком - то возьму себе XrayDisk.Но по картинке всё выглядит достойно...

Ещё Goldenfir брал, за примерно те же деньги, тоже 128Gb - тоже полёт нормальный (где то увидел хвалебный отзыв на него, но мне внешний вид не понравился...)

Сделал «Вскрытие» Этому зверю:

Деньги то вернули?

Деньги то вернули?

Так во вскрытии написано, вернули и спокойно можно вскрыть...
В тот раз китайцы вернули на через Озон, но недавно я на Алиэкспрессе ещё раз рискнул... Уже 3к рублей... Посмотрим что придёт...
Если опять косяк, то надо купить XrayDisk, на WB даже кричат о гарантии 5 лет... 2600р за480Gb...

За три тысячи даже в DNS можно купить приличный SSD на 500 Гб, ты принципиально решил перепробовать все подделки и хлам?

За три тысячи даже в DNS можно купить приличный SSD на 500 Гб, ты принципиально решил перепробовать все подделки и хлам?

500Гб не интересует как класс...
(У меня в столе - десяток винтов от 160 до 500Гб, хочу инфу с них тупо забэкапить... Надо минимум 4т и несколько...)
А на это в рашке надо много денег... Не получится найти в китае - значит забью. Я компами занимаюсь с начала 90х годов прошлого века, барахла много накопилось, которое и выкинуть хочется и сохранить... Часть уже потеряна. Была бэкапная 3Т Барракуда... Сдохла тварь, пока искал замену - сдохла та которая в компе была... Единственное что было сохранено на третий носитель - База фотографий (но не вся)... взял у Яндекса 2Т на 2 года за 900р, сделал копию ещё и там... Но срок выходит... Хотя скорее всего продлю, но уже за 2.5к рублей...
Вот и ищу источник дешевых и достойных накопителей (Слышал что народ за копейки берет серверные винты с разборки, но надо найти канал). Понимаю что шансы малы, но они есть. Тот же XrayDisk, за 3000 конечно 1Т а не 4, но достаточно достойных (пока успешно гоняю 128mb в количестве 2х штук).