LINUX.ORG.RU

Выбор надёжного хранилища данных

 , , ,


1

6

Собственно, назрела потребность. Хранить придётся как файлы весом 2/10/50M, так и пожирнее, 4G/10G + архивы по 50G/100G. Приемлимым объёмом стали бы символические 1.5-3TB (можно и меньше, если решение действительно надёжное). Применение домашнее, так что по деньгам соответственно. Из вариантов рассматривал:

  • Ленты и стример (интуиция, которую ещё называют курсом доллара, подсказала, что вариант сей есть оверкил и вообще нафиг не нужно)
  • Blu-Ray диски и читалка-писалка для них. Вариант сносный, вроде бы, но хочу услышать отзывы о таком методе хранения информации.
  • HDD - не самая надёжная штука в плане отказоустойчивости, даже дорогие модели порою сыпятся только так (RAID1 и RAID1E можно было бы рассмотреть, но диски спокойно могут начать сыпаться одновременно, а постоянно скакать и подкупать новые - не очень)
  • SSD вообще без питания через годик инфу теряют, вариант тухлый

Чего хочется:

  • Долговечности. Чтобы записал, и лет через 10-15 смог прочитать
  • Опционально, возможности перезаписи ~ раз в год, т.е. добавлять новые файлы/удалять старые
  • Опять же, сносных цен, не готов пока вывалить 600-1000 баксов за то, чтобы в теории моя информация никуда не делась

Предлагайте варианты, критикуйте идеи. Надеюсь, тред станет полезным для всех, кто хочет хранить N-ый объём файлов дома с какой-никакой гарантией надёжности. Всем заранее спасибо за помощь. P.S. - Читать/писать хотелось бы всё же чуть почаще, чем раз в полгода, если можно



Последнее исправление: john_snake (всего исправлений: 1)

Это все много раз обсасывали. Вкратце: все очень плохо. Можно найти пару разных хороших производителей лазерных дисков для архивных целей и писать каждый архив сразу на пару. Раз в пару лет проверять читаемость. Хранить в сухом темном (буквально) месте.

legolegs ★★★★★
()

Предлагайте варианты, критикуйте идеи.

Информация, имеющая максимальное количество «копий/время», наиболее «живучая». Информация, имеющая минимальное количество «копий/время», наиболее «забытая». Какой из твоих способов обеспечивает достойный показатель «копии/время»?

Deleted
()
Ответ на: комментарий от legolegs

писать каждый архив сразу на пару

И архивы создавать с двойной избыточностью.

anonymous
()

Держи диски РАЗНЫХ производителей, купи 4 штуки по 1 Tb и объедини в raid10. И не вынимай из системника. + ещё одну копию залей в облако.

Всё очень плохо, есть mDIsk (вроде как) - со специальным приводом, читаются обычными CD. Там вроде как надёжность высокая, но...

Deleted
()
Ответ на: комментарий от legolegs

и писать каждый архив сразу на пару.

И использовать par2 для повышения сохранности, либо cdrparity для оптических дисков.

Deleted
()
Ответ на: комментарий от anonymous

Нет, чтобы можно было использовать не дорогие диски по 2 Тбайт. Не более того (условя задачи - несколько больше). При прочих равных лучше, конечно, вообще копии на разных дисках без всяких там рейдов.

Deleted
()
Ответ на: комментарий от Deleted

не дорогие диски по 2 Тбайт

Ловите наркомана!

anonymous
()
Ответ на: комментарий от SergeySVold

Да, видел их уже

Есть истории успеха с ними? (я понимаю, что времени с их появления прошло всего ничего, но всё же, хотя бы так, в течение десятилетия) Или только распиарились и пытаются нажиться на желании людей хоть как-то нужную информацию сохранить.

john_snake
() автор топика
Ответ на: комментарий от legolegs

Прямо-таки совсем?

Эх, как-то печально даже. Вроде бы, основной момент в век информационных технологий, а такой fail. Про диски я вот уже думал, да, пока являются самым адекватным решением.

john_snake
() автор топика
Ответ на: Да, видел их уже от john_snake

Ну судя по технологии - оно нажеднее обычных оптических дисков. У тебя альтернатив не много: HDD - эти вот одноразовые M-Disk и ленты. Собственно, я бы взял несколько HDD.

Ловите наркомана!

Че, ему надо взять диски с SMR/MAMR/HAMR? Накачанные гелием? Ещё с какой-нить странной хернёй?

Deleted
()
Ответ на: комментарий от legolegs

Спасибо. То есть, грубо говоря, пишем все данные на диски (всё-таки не DVD, хотя бы обычные BR, а то ведь это жесть будет потом, читать их), с избыточностью, плюс делаем пару.. HDD (?) с теми же данными и прогреваем их каждые полгода. На сколько может теоретически хватить ресурса этих самых HDD, если, допустим, брать хвалёные WD Black? Или есть варианты получше? Шифрование мне толком не нужно (ну, лишним не будет, но информация важная, но не секретная, не думаю, что за ней придут).

john_snake
() автор топика
Ответ на: комментарий от Deleted

Какие именно HDD брал бы? В плане фирм там, моделей, на что посмотрел бы? Ленты, так-то, вариант хороший, но жаба душит пока. Если найду где хороший относительно стример за 100-150 евро - урву, скорее всего.

john_snake
() автор топика
Ответ на: комментарий от john_snake

Для дисков лучший вариант - включить и несколько лет не выключать. У меня так wd green выработал весь ресурс в 70к часов и ещё живёт.

legolegs ★★★★★
()
Ответ на: комментарий от john_snake

К лентам ещё нужен шкаф с кондиционером. Они тоже не железные.

legolegs ★★★★★
()
Ответ на: комментарий от Deleted

Че, ему надо взять диски с SMR

Чё, ему надо одолжить машину времени у Макскома, и слетать в прошлое, чтобы купить диски без SMR?

Ты же, утверждаешь, что 2*2Tb в raid 0, дешевле и надёжнее одного 4Tb диска.

anonymous
()
Ответ на: комментарий от legolegs

Они там часом технологию производства не поменяли? А то порой возьмёшь вещь, которую лет 5-7 назад покупал, даже модель та же, а совсем не то. Т.е., нужно какой-нить одноплатник/мини-пк под это дело организовать, чтобы он питание на HDD подавал и вертел его. А всё-таки, с чем связан этот момент? Неужели нагрузка при торможении и запуске столь велика, что диск быстро ломается?

john_snake
() автор топика
Ответ на: комментарий от anonymous

2*2 Tb в RAID10. Я смотрю, у тебя отходняки начались, со смыслом сказанного дружишь плохо. RAID0 и RAID 1+0 (а именно его обычно понимают под RAID10, а не то, что на самом деле есть 10 уровень RAID). Кроме того, smr в обычные диски как раз не пихают.

Deleted
()

Два zfs массива на дешманских дисках, 2й для бекапа. Вместо запасного массива можно держать новые винты на замену сдохшим, но если массив будет выключен большую часть времени, запаска вообще не понадобится. Главное 2+ диска на избыточность. В сумме выйдет нанамного дороже брюликов, зато с гарантированной целостностью данных и с возможностью обновления этих данных.

Lordwind ★★★★★
()
Ответ на: комментарий от john_snake

У каждого свои вкусы. ИМХО, лучше всего взять просто одинаковые по объему, но разные. Мне импонируют Тошиба и Хитачи. WD по сути есть хитачи, сигейт - не уважаю. Скажем, я бы взял (если бы пришлось именно для долговременного хранения) - хитачи (как-то мне эти диски больше нравятся) и не любимые сигейты. Главное, чтоб объем подходил. Сами данные с пластин никуда не денутся: проблемы могут возникать именно от долгой лёжки: клин шпинделя, ввиду стекания смазки и, следовательно, нагрева - потом и клина.

Deleted
()
Ответ на: комментарий от Deleted

RAID 1+0 (а именно его обычно понимают под RAID10

RAID 10 (1+0 или 0+1) подразумевает:
Raid 0 из двух пар дисков в последующем собранных в raid 1
,или
Raid 0 из двух raid 1 собранных из двух пар дисков.

Это raid 0 в обоих случаях.

anonymous
()

Купи хранилище в облаке (амазон, гугл, digital ocean и т.д.), и предоставь заботу о данных специалистам.

А так, для каких-то данных, потеря которых не критична, я вон купил 1TB внешний hdd как раз более 10 лет назад, до сих пор всё читается нормально.

Когда защищал дисер, всё записывал на dvd. Все диски стухли лет через 5, прочесть ничего невозможно.

yvv ★★☆
()
Ответ на: комментарий от Deleted

Окей, посмотрим доступные варианты, значит. В теории, можно же завести «залежалый» диск, приложив несколько часов, инструменты и силу воли?

john_snake
() автор топика

Уже не раз считал для себя лично. Надежные носители + избыточность + оборудование + обеспечение доступа. В общем, или

вывалить 600-1000 баксов

сразу или можно арендовать 2 TB на Wasabi за $143/год.

Так что лучше немного ужать свои хотелки до условного 1 TB и арендовать пространство. Грамотно использовать дедупликацию. А если потребности объективно возрастут до 3-4 TB, то уже купить свое железо за условную $1000.

aquadon ★★★★★
()

Надеюсь, тред станет полезным для всех, кто хочет хранить N-ый объём файлов дома с какой-никакой гарантией надёжности.

Вообще, при храненении файлов «дома» уровень надежности очень низкий. Конечно, при хранении только при помощи некоторого стороннего сервиса возникают другие риски, но надежность сохранности данных несомненно выше.

Я лично для себя арендовал 100 GB файловой системы с доступом по ssh на rsync.net. Для тяжелых архивов у меня есть облачное хранилище, за которое плачу не я.

Первоначальная идея была собрать HP Microserver под это дело, но когда посчитал все детально с учетом разных рисков, то забил. Покуда сервис стоит меньше $100/год, проще платить.

aquadon ★★★★★
()

Мне кажется, избыточный классический RAID ­— не совсем то, что вам нужно. Классический RAID применяют, в основном, для отказоучтойчивости без даунтайма, а вам нужно хранить файлы.

Если говорить о RAID, посмотрите в сторону SnapRAID. С ним вы сможете комбинировать произвольное количество дисков любого размера, добавлять и удалять их в любой момент, а в случае потери данных, потеряются только данные на конкретном диске, а не во всем массиве вообще.

ValdikSS ★★★★★
()
Ответ на: комментарий от john_snake

Тогда не парь себе мозги, покупай HP Microserver gen 8, 6 одинаковых HDD по 2 TB (4 внутрь и 2 в запас на полку), делай RAID и пользуйся. Только не забывай, что все твои данные все еще лежат в одной «корзине».

aquadon ★★★★★
()
Последнее исправление: aquadon (всего исправлений: 1)
Ответ на: комментарий от aquadon

Передовые практики быстро распространяются на планете. Вон, кое-где теперь 14 лет за видосики в интернетах дают. Будет и чебурнет.

legolegs ★★★★★
()
Ответ на: комментарий от aquadon

Что не так с HDD по 2 TB

Стоимость за Tb, по сравнению с 4 Tb дисками (4Tb дешевле, чем 2*2Tb).
Надёжность raid 10 в сравнении с raid 1 (надёжность не выше).

anonymous
()
Ответ на: комментарий от john_snake

Теоретически - можно. Практически - дорого может оказаться. Надо доставать и проверять так или иначе.

Deleted
()
Ответ на: комментарий от john_snake

Если оффлайн хранилище, то не парь мозги, возьми 2 больших hdd, копируй сразу на оба. Оптические не бери, пожалеешь.

yvv ★★☆
()

Всё таки Blu-Ray диски надёжнее HDD, в плане того, что они более устойчивы к вибрациям. А HDD могут быть менее устойчивыми. Да и они могут сломаться, в отличии от Blu-Ray.

Riniko ★★
()

Плюсую ZFS!

Только электроэнергию на хранение еще посчитайте.

Для катастрофоустойчивости воспользуйтесь cold storage (например, AWS glacier - 0,004$/Гб/мес.).

Из форматов архивов рекомендую посмотреть на DAR.

Harliff ★★★★★
()
Ответ на: комментарий от Harliff

При учёте, что вертеться будут не 24/7/365 - энергии много не скушают, да даже если и так, у меня 500W ПК почти всегда работает, плюс техника всякая, чай, на дисках не разорюсь)

john_snake
() автор топика
Ответ на: комментарий от Deleted

Ну, мы про M-Disk, там, вроде как, другая вообще технология создания покрытия. Правда, что только на чтение, но это ничего, переживу.

john_snake
() автор топика

zfs локальный и синхронизируемый с ним zfs удалённый. В принципе, решаемо довольно небольшими средствами.

Deleted
()
Ответ на: комментарий от yvv

Собственно, сейчас так и планирую, плюс пара дополнительных мер безопасности уже на софтварном уровне FS. Ну и ещё один бекап на что-нибудь, так, на случай полного факапа. Может, пока в РФ работает AWS от Amazon, туда солью, правда, нужно будет зашифровать перед заливкой. Хотя, постоянно платить за хранение информации, которая у меня и так под рукой деньги (примерно 1000 в месяц) - я за год могу скопить на ещё таких же два и сделать уже намного более отказоустойчивую систему.

john_snake
() автор топика
Ответ на: комментарий от ValdikSS

потеряются только данные на конкретном диске

А в чём тогда фича в плане безопасности RAID перед обычным хранением? У них вот написано:

If the failed disks are too many to allow a recovery, you lose the data only on the failed disks

Выходит, что если диски по размеру одинаковые, данные я вообще не потеряю?

john_snake
() автор топика

Blu-Ray. Нечего обсуждать. Давно обсудили. Замены не предвидится в ближайшие 50 лет

anonymous
()

Любые диски + CEPH. Да, кормить электричеством и сетью всё время хранения данных. Диски проверять и менять по мере надобности.

ugoday ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.