Комплексная проверка nand-памяти под бэкапы.

btrfs scrub

restic check --read-data

borg check --verify-data

1. ФС не brtfs

2. Нужен набор отдельный от бэкап-комбайна, а не в составе чего-то.

Значит пришло время приобщиться к хорошим практикам.

У меня самописный скрипт на rsync и я пока ничего не собираюсь менять в этом плане.

Никак, эта инфа в каждом контроллере памяти записана по-своему и мало кто её отдаёт.

Пришло время переходить на M-disk

То есть кот в мешке тотальный и беспросветный? Отличненько.

отсюда вопрос о сохранности данных, какой комплекс мер предлагается в данный момент для проверки целостности разделов

1. Использовать несколько копий на разных физических дисках.
2. Проводить регулярную проверку контрольных сумм данных.

износа ячеек

Использовать SMART если есть.

Меня интересует на концепция распределенного резервирования или физическое устройство памяти, меня интересует ПО! Дайте мне названия утилит и тестов.

меня интересует ПО

echo "$(cat archive.tar.gz.sha256) archive.tar.gz" | sha256sum --check --status

7z t <archive>

Скрипты сами напишете.

какой комплекс мер предлагается в данный момент для проверки целостности разделов

fsck

износа ячеек

никакого. разве что показатели SMART (если есть), но они показывают погоду на Марсе.

какие-то тесты для прогона записи\считывания

badblocks, но не поможет - на затертых флэшках записанное просто быстрее протухать начинает (вплоть до нечитаемости через сутки-двое). сразу же после записи все отлично.

ну а так - контрольные суммы и периодическая проверка содержимого.

Я правильно понимаю, что серьезные дяди и серьезные организации никогда не полагаются на запись ключей и иных критических данных на flash-память?

Проверка контрольных сумм между отдельными файлами или целой ФС?

Я правильно понимаю, что серьезные дяди и серьезные организации никогда не полагаются на запись ключей и иных критических данных на flash-память?

Неправильно.

Ну, а как тогда они могут быть уверены и иметь гарантии? Да, запишут они на несколько флешек, но это всё равно недостаточно безопасно и надежно, 1 потеряется. другая потеряет заряд электронов в ячейках памяти, третья у кого-то не того оказалась в руках, четвертая вовсе свой ресурс отработала и побились блоки ФС. Несерьезно как-то это.

Делаю бэкапы нужных мне системных областей время от времени на простые flash-карты с nand памятью

на некоторых индустриальных SD/microSD статистика доступна, у них подобие SMART есть

Они надо понимать во всяких щирпотреб-ДНСах не продаются?

какие-то тесты для прогона записи\считывания

f3 - Fight Flash Fraud

https://fight-flash-fraud.readthedocs.io/en/stable/

https://github.com/AltraMayor/f3

во всяких щирпотреб-ДНСах не продаются?

есть и в DNS, например Kingston Industrial Temperature microSDHC, надо уточнять что она может.

Смотри тут по кингстонам

https://www.kingston.com/datasheets/SmartInfoToolManual.pdf

и в магахах ищи kingston SDCIT - они вроде везде есть, стОят не намного дороже обычных

серьезные дяди/организации никогда не держат одну копию критически важных данных.

а толку от смарта? я совсем не уверен что они умеют в background media scan и refresh утекающих данных.

вот была у меня микросд карта, стояла себе в телефоне, не отключалась надолго, писалось на нее фиг да нифига (редкие фоточки, ни разу целиком не заполнялась), и ВНЕЗАПНО телефон отказался ее видеть, причина - рассыпалась ФС, + побились некоторые фоточки-видео. карточка ессно живая, просто заряд за несколько лет утек, а контроллер был тупой.

и как эта тулза определит, что у карты в блоке N заряд утекает спустя 2-3 суток после записи? никак? :)

жми бекапы в рарчег с включенным recovery record. будет защита от потери части архива основанная на кодах рида-соломона.
минус: рарчег не научился спец.файлам *никс, рар5 умеет только права и пользователя. так бы весь бекапы в рар перевел. а тут покамест tar.rar

есть еще рассоверная *никс утилита par2, но ее развитие заброшено лет десять назад :(

если заморачиваться на длительном ультрахолодном архиве, то стоит глянуть в сторону M-DISC - суперзащищенная сд-двд-бд-болванка, гарантируют пару сотен лет жизни, причем тестировались американскими вояками, явно не «китайские киловаты».
неимоверный плюс - читается на любом сд-двд-бд-приводе.
для записи лучше использовать рекомендуемые, ибо требует большую мощность луча для записи.

карточка ессно живая, просто заряд за несколько лет утек, а контроллер был тупой

индустриальные карты все же не то же самое что и коммерческие - шансов таких утечек меньше, но никто не даст 100% гарантии. На eMMC например можно включить аппаратное дублирование данных, т.е. запись не затирает предыдущее содержание сектора, что то типа CoW, всегда есть копия предыдущего содержимого, плюс к этому можно аппаратно ограничить запись только один сектор за запись. В таком варианте разрушить ФС практически невозможно даже такую тупую как FAT. Чета мне кажется на eSD тоже есть что-то подобное.

tar.rar

имхо изврат. я бы лучше acl, xattr, chattr в отдельный файл экспортировал (можно даже в sh скрипта) и положил рядом.

а так тоже все в рарах храню, во всяком случае RR от silent corruption защитит.

а что делать с pipe socket и прочей спецухой ??