LINUX.ORG.RU
ФорумTalks

Обмен куска своего HDD на кусок чужого HDD

 


0

2

Кто пробовал пользоваться каким-то из известных проектов и каким в этой сфере?

Вкратце идея в том, чтобы отдав «в сеть» 500 гигабайт диска на своём NAS похранить свои 500 гигабайт на рандомных хостах в этой сети.

  1. Ты заявляешься в децентрализованную «сеть бекапов», оглашая своё желание захостить 500 гигов чужих данных.
  2. У тебя есть криптографическая подписть твоего хоста, чтобы твои команды в сеть не перехватили злодеи и т.п.
  3. Сначала сеть тебе устраивает некую проверку в течении, скажем, недели, хостя у тебя рандомные наборы байт и далее хешированием рандомных поддиапазонов хитро проверяя что ты реально честно их хранил, а не выкинул и «сделал вид» и был хорошо доступен всё это время.
  4. ТОЛЬКО ТЕПЕРЬ далее по сети расползается слух о том, что ты вменяем (как-нибудь алгоритмически доказывая всем господам, что ты прошёл проверку) и теперь ты участник: ты можешь залить в это облако 500 своих гигов в обмен на то, что сеть сможет поюзать твои 500 гигов. Гиги юзаются блоками по 8 мегабайт например.
  5. Хранящееся у тебя периодически «пингуется» разными способами, чтобы убедиться что данные лежащие у тебя всё ещё целы и ты не умер. Ну напримре тебе присылают запрос «дай sha256() от диапазона байт [N, M) объекта 0x7182371» и подобное всякое такое. Как только ты начал нести чушь или умер - тебя признают дебилом и все данные, коорые ты где-либо захостил объявляются «можно особождать, хозяин умер».

Смысл участия в этой сети в том, чтобы геораспределённо похранить какие-то свои бекапы. Бекапы твои ты бьёшь на блоки по 8 мб и аллоцируешь их в данной сети типа как в S3. Либо не аллоцируешь, а перезаписываешь существующие. Блоки льются, ясен хрен, как-то там пошифрованные твоим клиентом для доступа в данную сеть. Ну и поверх данного множества блоков ты видишь какую-то файловую систему например - неважно что ты там видишь, главное что твой клиент имеет доступ писать в блоки с номерами от 0 до (500 гигов / 8 мегов) с некой частотой перезаписи одного блоке не чаще раз в час, например. Что логическое поверх этих физических блоков ты там решил представить уже не суть.

Обычно смысл такой штуки в том, что ты эти доступные тебе 500 гигов рубишь ровно пополам и в каждую половину заливаешь копию своего бекапчика. Или рубишь на 10 частей и льёшь 10 копий бекапчика. Зависит от того, количество скольки рандомных 8 мб блоков ты готов пережить.



Последнее исправление: CrX (всего исправлений: 1)

storj ноду держал некоторое время. Но там оказалась чистая коммерция и грязная крипота.

Свой диск придется отдавать в общую сеть по курсу 3 к 1, потому что данные приходится дублировать. storj использует какие то ухищрения что бы сделать не 3к1 а поменьше, но больше чем 2к1.

Для бекапов хорошо бы какую то глобальную дедупликацию придумать, но непонятно как. Как автоматически разделить файлы на публичные и приватные или сделать универсальную защиту.

theurs ★★
()

Сначала замути такое в своем городе, у пары друзей например или у родителей (если отдельно живёшь)

irton ★★★★★
()
Ответ на: комментарий от theurs

Решать за юзера хочет ли он резервировать - как-то тупо конечно, в моей схеме ты сам решаешь. Блоки 0…63999 получил и делай чё хочешь. Грустно что storj оказался скамом криптофигни.

tcpfinhello
() автор топика
Последнее исправление: tcpfinhello (всего исправлений: 1)

Мы с товарищами просто подняли между своими серверами сеть tinc. На самих серверах обычные ftp-сервера. Создали друг другу пользователей. И теперь по крону с помощью duplicity(инкрементальный бекап со встроены gpg-шифрованием) и rsync ежедневно льём бекапы. Мы, правда, очень старые друзья и формально у нас нет ограничения на место, кто сколько откусит(в разумных пределах), тот столько и использует.

shell-script ★★★★★
()

Плывя на айсбергре с самодельной удочкой.

nixbrain
()

e2000 переизобрели???

Shadow ★★★★★
()

Идея хороша ровно до момента, пока не придёт ФСБ «у вас на NAS СР/пропаганда ВСУ/хостинг мошенников». Смотришь - а там и правда хостинг мошенников. Смысл в том, что, устанавливая на NAS ПО, которое писал не ты, гарантий нет.

tiinn ★★★★★
()
Ответ на: комментарий от imul

У меня весь нужный мне функционал хранилища бакапо выполняет внешний HDD в коробочке, а он в сеть не смотрит.

tiinn ★★★★★
()
Последнее исправление: tiinn (всего исправлений: 1)

Вкратце идея в том, чтобы отдав «в сеть» 500 гигабайт диска на своём NAS похранить свои 500 гигабайт на рандомных хостах в этой сети.

А в чём навар?

PPP328 ★★★★★
()
Ответ на: комментарий от tiinn

внешний HDD в коробочке

вот у меня тоже так же, однако в один прекрасный момент, этот HDD в коробочке перестал отвечать. Отнёс в магазин, заменили по гарантии, однако бекап тю-тю. Так что неоднозначное решение. Тем не менее пользуюсь. Ну это так просто реплика.)

ivama
()
Последнее исправление: ivama (всего исправлений: 1)
Ответ на: комментарий от PPP328

А в чём навар?

Навара в прямом смысле нет, но преимущества определённые — вполне есть. Как, впрочем, и сопутствующие им недостатки. Самые очевидные плюсы такого решения:

  1. Для простоты предположим, у тебя есть 1 ТБ данных для бэкапа. И предположим, у тебя есть один HDD на 16 ТБ. Отдав эти 16 ТБ под бэкапы других людей, ты можешь разместить в этой сети свои данные 16 раз, тем самым повышая устойчивость — если у одного из пользователей, хранящих твой бэкап, сдохнет HDD, или он просто решит на всё забить и отключится — останется ещё 15 копий. В случае же с использованием просто своего NAS, у тебя будет лишь одна копия (размножение её тупо несколько раз на одном и том же HDD прибавляет защиты разве что от бэдблоков, но не большинства других проблем).
  2. Копия хранится где-то удалённо. Если случилось что-то страшное: пожар, наводнение, беспилотник прилетел — с большой вероятностью будут уничтожены одновременно и оригинал данных и бэкап на NAS, находящийся в том же помещении. А удалённый останется
  3. Если делать по уму, с хэшами, то частично можно добиться дедупликации, или наоборот повышения надёжности, ведь часть контента у разных пользователей может совпадать. Поэтому если 5 пользователей хранят «ЛюбимыйМультик.x264.240p.mkv», для каждого из них получается 4 дополнительных копиии «бесплатно» — то есть, он обменивает гигабайт своего места на 5 копий по гигабайту у других, которые он может в любой момент выкачать.

Минусы тоже очевидны, в основном они сводятся к факторам, снижающим надёжность: надо, чтобы участников было достаточно много, и чтобы юзеры, хранящие твои данные, не ливали рандомно, ну и доступ в инет требуется, а не только к конкретной машине в пользовании.

CrX ★★★★★
()
Последнее исправление: CrX (всего исправлений: 2)
Ответ на: комментарий от CrX

А если еще получится решить вопрос с глобальной дедупликацией то бекапы станут намного быстрее и меньше.

theurs ★★
()

Никаких вменяемых алгоритмов пруфофресурсес для таких кейсов нет. Тебе либо надо постоянно гонять байты либо считать что Х процентов юзеров адекватны, поэтому у тебя есть вероятность У что вместо своих байтов от хранителей ты получишь Й мусора.

ya-betmen ★★★★★
()
Ответ на: комментарий от PPP328

А в чём навар?

В получении фичи геораспределенности твоих бекапов

tcpfinhello
() автор топика
Ответ на: комментарий от tcpfinhello

Там шифрованные блоки

Это только твои проблемы. Будешь доказывать товарищу майору, что тебе скрывать нечего, и этот набор байт - не ДП. Удачи.

lenin386 ★★★★★
()
Ответ на: комментарий от lenin386

Это только твои проблемы.

Нет, это обьективная математика. Ни майор, ни ты, ни кто-то ещё не способен видеть сквозь aes256.

tcpfinhello
() автор топика
Ответ на: комментарий от CrX

у тебя есть 1 ТБ данных для бэкапа Отдав эти 16 ТБ под бэкапы

То есть мне предлагается потерять свой объем кратно?

Копия хранится где-то удалённо.

Нет понятия «облако», есть «чужой компьютер». Размещая бекапы на негарантированных узлах, которые завтра могут отключиться глупо. Для этого есть VPS на крайний случай, там тебе хотя бы смогут восстановить в случае чего.

ведь часть контента у разных пользователей может совпадать. Поэтому если 5 пользователей хранят «ЛюбимыйМультик.x264.240p.mkv»,

То есть это не для бекапов, а для файлопомойки? Потому что у бекапов хэши будут одинаковые. И я всё ещё не вижу, как это должно работать без централизации. Потому что кто будет хранить хэши? Хотите чтобы все хранили данные о всех у себя? Как в битке, когда надо терабайтную базу на локалхост скачать?

PPP328 ★★★★★
()
Ответ на: комментарий от tcpfinhello

В Великобритании это уголовное преступление, если вы не даёте полиции ключи расщифровки от своего контента. Тем самым вы признаёте вину в том, в чём вас обвиняют.

PPP328 ★★★★★
()
Ответ на: комментарий от tcpfinhello

У тебя на компе куча зашифрованного файла. Если тебе нечего скрывать - расшифруй, покажи. Не можешь - комп на конфискацию, будешь рассказывать про объективную математику уже прокурору и судье. Товарищу майору фиолетов ты и твоя цифровая свобода. Но только до тех пор, твоя деятельность не создаёт проблемы. А вашу сетку мгновенно облюбуют все скамеры, спамеры, и прочие интересные люди, тебе выше всё правильно сказали.

lenin386 ★★★★★
()
Последнее исправление: lenin386 (всего исправлений: 2)

Как только ты начал нести чушь или умер - тебя признают дебилом и все данные, коорые ты где-либо захостил объявляются «можно особождать, хозяин умер».

И вот именно в этот момент тебе понадобился бэкап, т.к. когда ты некоторое время был оффлайн, другие узлы сети как раз проверяли, а жив ли ты ещё и видели, что уже нет и распространили сведения об этом между собой. И только ты поднял систему из образа/старого бэкапа без данных и хочешь накатить сохранённое «у кого-то там», а уже всё - данные помечены к удалению и скорее всего удалены.

Ну и вероятность, что у тебя будет храниться что-то запрещённое от других участников (пусть и в шифрованном виде и кусками), тоже есть.

NightOperator ★★★
()
Последнее исправление: NightOperator (всего исправлений: 1)
Ответ на: комментарий от theurs

грязная крипота.

В смысле? Крипипаста и прочее творчество душевнобольных? Или опечатка и имелись в веду противозаконные криптовалютные операции?

question4 ★★★★★
()
Ответ на: комментарий от lenin386

У тебя на компе куча зашифрованного файла. Если тебе нечего скрывать - расшифруй, покажи. Не можешь - комп на конфискацию, будешь рассказывать про объективную математику уже прокурору и судье.

Короче ясно, очередная параноидальная тупая дуркошиза. Будет чё по теме сказать - приходи.

tcpfinhello
() автор топика
Ответ на: комментарий от NightOperator

Ну и вероятность, что у тебя будет храниться что-то запрещённое от других участников (пусть и в шифрованном виде и кусками), тоже есть.

Есть, но это не осуждается.

tcpfinhello
() автор топика
Ответ на: комментарий от tcpfinhello

Там шифрованные блоки,

Гарантия есть, что вот это ПО ничего левого, кроме шифрованных блоков, на ваш NAS писать не будет?

tiinn ★★★★★
()
Ответ на: комментарий от question4

В смысле? Крипипаста и прочее творчество душевнобольных? Или опечатка и имелись в веду противозаконные криптовалютные операции?

Всмысле вместо обмена своим местом там сделали продажу своего места. За криптофантики. Вариант продать своё место и купить на заработанное чужое место вообще не работает, даже 1 к 10. Эксплуатировали хайп на майнинг, сделали в итоге какую то бесполезную хрень.

theurs ★★
()
Ответ на: комментарий от PPP328

То есть мне предлагается потерять свой объем кратно?

Не потерять, а обменять объём равноценно на количество резервных копий.

Размещая бекапы на негарантированных узлах, которые завтра могут отключиться глупо.

Не спорю. Я, собственно, не топлю за это решение, а отвечал на конкретный вопрос. У такого решения есть свои плюсы и сопутствующие им минусы. Последние я тоже упомянул, в конце своего поста, включая и этот.

То есть это не для бекапов, а для файлопомойки?

Технически ничто не запрещает использовать хоть для одного, хоть для другого.

И я всё ещё не вижу, как это должно работать без централизации. Потому что кто будет хранить хэши? Хотите чтобы все хранили данные о всех у себя? Как в битке, когда надо терабайтную базу на локалхост скачать?

Тут есть несколько вариантов решений, например каждый хранит какую-то часть метаинформации. Но да, какой-то объём придётся отдать и под служебную инфу, так сказать. Без этого никак.

CrX ★★★★★
()
Ответ на: комментарий от PPP328

То есть мне предлагается потерять свой объем кратно?

Если у тебя есть NAS который работает 24/7 и на нем есть лишний террабайт то ты можешь сдать его на общак в облако, и получить взамен 200гб в этом облаке. Это облако, в отличии от твоего NAS реально работает 24/7, в нем никогда не пропадает свет/интернет, скорость загрузки и отдачи ничем не ограничена (в storj вполне реально 10гбит заливать). Данные продублированы, storj писали что по их рассчетам даже если все узлы из рф внезапно пропадут с радаров ни один файл в сети не пострадает.

theurs ★★
()
Ответ на: комментарий от tiinn

Гарантия есть, что вот это ПО ничего левого, кроме шифрованных блоков, на ваш NAS писать не будет?

Выдыхай уже оффтопить.

tcpfinhello
() автор топика
Ответ на: комментарий от PPP328

То есть мне предлагается потерять свой объем кратно?

Нет, тебе дают терабайт за терабайт, всё ровно. Дальше у тебя может возникнуть барское желание похранить данные в 3 или 16 экземплярах. Соответственно, заплатить за это желание придётся из выданного тебе гигабайта. Ну или юзать без барского желания: тогда твой бекап есть у тебя и где-то в облаке в одном экземпляре. Если копия в облаке сдулась, ты узнаешь об этом за сутки и перенальёшь в то же облако.

tcpfinhello
() автор топика
Последнее исправление: tcpfinhello (всего исправлений: 1)
Ответ на: комментарий от PPP328

Нет понятия «облако», есть «чужой компьютер». Размещая бекапы на негарантированных узлах,

Есть понятие облако - это много неизвестных чужих компьютеров. Всё как в дата-центре: любой узел может отказать в любой момент, но вероятность нтже единицы. И вот это недостижение вероятностью единицы и даёт возможность написать формулу, по которой вероятность просёра данных КРАЙНЕ МАЛА.

tcpfinhello
() автор топика
Ответ на: комментарий от PPP328

То есть это не для бекапов, а для файлопомойки? Потому что у бекапов хэши будут одинаковые. И я всё ещё не вижу, как это должно работать без централизации. Потому что кто будет хранить хэши? Хотите чтобы все хранили данные о всех у себя? Как в битке, когда надо терабайтную базу на локалхост скачать?

Этот самый хитрый момент и является предметом разработки в данном топике. Вкратце, никто не хранит никакие хеши всех файлов и никто не знает никаких имён файлов, не хочется конечно же иметь терабайтный блохчейн. Файлов нет. Есть только 8-мегабайтные блоки данных.

tcpfinhello
() автор топика
Последнее исправление: tcpfinhello (всего исправлений: 1)
Ответ на: комментарий от theurs

реально работает 24/7, в нем никогда не пропадает свет/интернет

Апхах! Да это ж такие же лохи у себя с подкроватными серваками и ковровыми бомбардировками РКН. Какие 24/7 вообще?

PPP328 ★★★★★
()
Ответ на: комментарий от PPP328

Апхах! Да это ж такие же лохи у себя с подкроватными серваками и ковровыми бомбардировками РКН. Какие 24/7 вообще?

Утверждается, что интернет состоит не из какой-то одной страны и данный проект может быть запущен и не в России. Круглость планеты и наличие компьютеров по всему земному шару какбэ и говорит нам о 24/7

tcpfinhello
() автор топика
Последнее исправление: tcpfinhello (всего исправлений: 1)
Ответ на: комментарий от ya-betmen

Это и есть постоянно данные гонять. У тебя диск будет постоянно жужжать.

Такого нет. Это описано в стартовом посте в месте про sha256 от произвольного участка байтиков.

tcpfinhello
() автор топика
Ответ на: комментарий от tcpfinhello

Вот ты выключил комп на ночь, тебе пришёл запрос, ты не ответил. На следующую ночь снова выключил, тебе снова пришел запрос и ты не ответил. Потом включил а все твои бакапы потерли. Ну или тебе пров инет поломал на пару дней.

ya-betmen ★★★★★
()
Последнее исправление: ya-betmen (всего исправлений: 1)
Ответ на: комментарий от ya-betmen

Вот ты выключил комп на ночь,

Уже нарушение условий работы в сети. Во-вторых это очень вредно для БП компа и для прочей там его электроники. Ясно дело, проект рассчитан на технически подкованных людей, которые понимают что выключать комп вообще странно и во-вторых упороты темой всяких там торрентов и прочего. Эти все хмыри, которые SETI.HOME дома запускают всю жизнь. На ЭНТУЗИАСТОВ, так сказать.

Вполне возможно, что не надо пытаться сделать проект для энтузиастов, можно вполне себе зарабатывать на этом хотя-бы копейки и быть ООО коммерческой фирмочкой по обекапливанию населения за счёт друг друга и зарабатывания денег на продаже своих дисков и доступности. Это даже наверное более массово будет. Вообще, я всегда больше верю в нормальную экономику с баблом и коммерцией, чем в энтузиазм… То есть, клиенты ты раздаёшь opensource, но сервис централизованный и немножко платный с подписочкой. Зато масса проблем решается. Есть и мониторинг и служба поддержки понятная и прочее.

tcpfinhello
() автор топика
Последнее исправление: tcpfinhello (всего исправлений: 5)
Ответ на: комментарий от tcpfinhello

проект рассчитан на технически подкованных людей, которые

провели себе интернет от 2х независимых провайдеров, электричество от 2х независимых сетей, купили генератор и 5г свисток, и сиську чтобы всё это вместе работало.

ya-betmen ★★★★★
()
Ответ на: комментарий от tcpfinhello

проект рассчитан на технически подкованных людей, которые понимают что выключать комп вообще странно

Только это не технически подкованные люди, а больные задроты, на всю голову. Не пуганные, к тому же.

lenin386 ★★★★★
()
Последнее исправление: lenin386 (всего исправлений: 1)

То есть по сути ты хочешь хранить свой бекап под залог работы твоего же диска. Значит, если у тебя этот диск похерится, а вместе с ним и твои, и чужие данные, то и твой бекап из облака тоже будет удалён. Просто гениальная схема :)

static_lab ★★★★★
()

ТОЛЬКО ТЕПЕРЬ далее по сети расползается слух о том, что ты вменяем (как-нибудь алгоритмически доказывая всем господам, что ты прошёл проверку)

вообще, доказывать кому-то что-то, тем более, по алгоритму, на который ты никак не можешь повлиять - последнее дело.

tiinn ★★★★★
()

Сеф на интернет сети? Занимательно… Как ребалансить?

Dispetcher14 ★★★★★
()
Ответ на: комментарий от ya-betmen

провели себе интернет от 2х независимых провайдеров, электричество от 2х независимых сетей, купили генератор и 5г свисток, и сиську чтобы всё это вместе работало.

Ничего страшного, если ты выпал из сети. Удалят тебя и всего делов, не надо так переживать.

tcpfinhello
() автор топика
Ответ на: комментарий от static_lab

То есть по сути ты хочешь хранить свой бекап под залог работы твоего же диска. Значит, если у тебя этот диск похерится, а вместе с ним и твои, и чужие данные, то и твой бекап из облака тоже будет удалён. Просто гениальная схема :)

Разрешается держать свою версию бекапа не на том же диске, который ты использовал как залог.

tcpfinhello
() автор топика
Последнее исправление: tcpfinhello (всего исправлений: 1)
Ответ на: комментарий от tiinn

вообще, доказывать кому-то что-то, тем более, по алгоритму, на который ты никак не можешь повлиять - последнее дело.

Биткоинщики щас оценили твой гениальный ход мысли.

tcpfinhello
() автор топика
Ответ на: комментарий от tcpfinhello

Разрешается держать свою версию бекапа не на том же диске, который ты использовал как залог.

Ну вот у тебя и есть на втором твоём диске резервная копия. А была бы ещё и на первом.

static_lab ★★★★★
()
Последнее исправление: static_lab (всего исправлений: 1)
Закрыто добавление комментариев для недавно зарегистрированных пользователей (со score < 50)