LINUX.ORG.RU
ФорумTalks

Обмен куска своего HDD на кусок чужого HDD

 


0

2

Кто пробовал пользоваться каким-то из известных проектов и каким в этой сфере?

Вкратце идея в том, чтобы отдав «в сеть» 500 гигабайт диска на своём NAS похранить свои 500 гигабайт на рандомных хостах в этой сети.

  1. Ты заявляешься в децентрализованную «сеть бекапов», оглашая своё желание захостить 500 гигов чужих данных.
  2. У тебя есть криптографическая подписть твоего хоста, чтобы твои команды в сеть не перехватили злодеи и т.п.
  3. Сначала сеть тебе устраивает некую проверку в течении, скажем, недели, хостя у тебя рандомные наборы байт и далее хешированием рандомных поддиапазонов хитро проверяя что ты реально честно их хранил, а не выкинул и «сделал вид» и был хорошо доступен всё это время.
  4. ТОЛЬКО ТЕПЕРЬ далее по сети расползается слух о том, что ты вменяем (как-нибудь алгоритмически доказывая всем господам, что ты прошёл проверку) и теперь ты участник: ты можешь залить в это облако 500 своих гигов в обмен на то, что сеть сможет поюзать твои 500 гигов. Гиги юзаются блоками по 8 мегабайт например.
  5. Хранящееся у тебя периодически «пингуется» разными способами, чтобы убедиться что данные лежащие у тебя всё ещё целы и ты не умер. Ну напримре тебе присылают запрос «дай sha256() от диапазона байт [N, M) объекта 0x7182371» и подобное всякое такое. Как только ты начал нести чушь или умер - тебя признают дебилом и все данные, коорые ты где-либо захостил объявляются «можно особождать, хозяин умер».

Смысл участия в этой сети в том, чтобы геораспределённо похранить какие-то свои бекапы. Бекапы твои ты бьёшь на блоки по 8 мб и аллоцируешь их в данной сети типа как в S3. Либо не аллоцируешь, а перезаписываешь существующие. Блоки льются, ясен хрен, как-то там пошифрованные твоим клиентом для доступа в данную сеть. Ну и поверх данного множества блоков ты видишь какую-то файловую систему например - неважно что ты там видишь, главное что твой клиент имеет доступ писать в блоки с номерами от 0 до (500 гигов / 8 мегов) с некой частотой перезаписи одного блоке не чаще раз в час, например. Что логическое поверх этих физических блоков ты там решил представить уже не суть.

Обычно смысл такой штуки в том, что ты эти доступные тебе 500 гигов рубишь ровно пополам и в каждую половину заливаешь копию своего бекапчика. Или рубишь на 10 частей и льёшь 10 копий бекапчика. Зависит от того, количество скольки рандомных 8 мб блоков ты готов пережить.



Последнее исправление: CrX (всего исправлений: 1)
Ответ на: комментарий от tcpfinhello

И навсегда потеряешь свои данные. Кажется вероятность отказа хдд ниже. Сохрани и положи в коробочку.

ya-betmen ★★★★★
()
Ответ на: комментарий от static_lab

Ну вот у тебя и есть на втором твоём диске резервная копия. А была бы ещё и на первом.

Я ничё не понял. Опишите подробнее схему угрозы.

tcpfinhello
() автор топика
Ответ на: комментарий от ya-betmen

Кажется вероятность отказа хдд ниже.

Ниже, чем что. Чем пропадание сразу 4 копий твоих данных у 4 разных людей?

tcpfinhello
() автор топика
Ответ на: комментарий от tcpfinhello

Ниже, чем что. Чем пропадание сразу 4 копий твоих данных у 4 разных людей?

Так ты хранишь эти копии под гарантию, что сам хранишь одну чужую копию. Пропадёт эта чужая копия у тебя — пропадут и все 4 твоих копии.

static_lab ★★★★★
()
Ответ на: комментарий от static_lab

Так ты хранишь эти копии под гарантию, что сам хранишь одну чужую копию. Пропадёт эта чужая копия у тебя — пропадут и все 4 твоих копии.

Ну предлагай варианты-то альтернативные. Ты хотел как-то бесплатно услугу получить совсем или что.

tcpfinhello
() автор топика
Ответ на: комментарий от tcpfinhello

Ну вот у тебя и есть на втором твоём диске резервная копия. А была бы ещё и на первом.

Я ничё не понял. Опишите подробнее схему угрозы.

Это не угроза. Это рациональная схема. Зачем тебе хранить у себя чужие данные, если можно хранить на этом диске свои, и даже с большей гарантией хранения, потому что данные будут храниться даже на выключенном диске, а в твоей схеме их сохранность зависит от 0,99999 доступности твоего хранилища.

static_lab ★★★★★
()
Ответ на: комментарий от static_lab

Это не угроза. Это рациональная схема. Зачем тебе хранить у себя чужие данные, если можно хранить на этом диске свои.

Затем, что у тебя нет 4 разных квартир с 4 дисками в разных местах. Конец мотивации тащемта.

tcpfinhello
() автор топика
Ответ на: комментарий от tcpfinhello

Ну предлагай варианты-то альтернативные. Ты хотел как-то бесплатно услугу получить совсем или что.

То есть ты придумал заведомо нежизнеспособную схему, тебе на это указали, а теперь тебе ещё все должны придумать какую-то нормальную схему? Это как на защите диссертации в ответ на критику сказать: «Не нравится — напишите сами».

static_lab ★★★★★
()
Ответ на: комментарий от tcpfinhello

Затем, что у тебя нет 4 разных квартир с 4 дисками в разных местах. Конец мотивации тащемта.

И все эти 4 хранилища на дисках в 4 квартирах зависят от сохранности одного твоего диска.

static_lab ★★★★★
()
Ответ на: комментарий от static_lab

То есть ты придумал заведомо нежизнеспособную схему, тебе на это указали

Не заметил заведомой неработоспособности. Указать на это недостаточно, надо ещё и пруфануть что указание логически непротиворечиво. А то ты можешь любой бред написать, мол «не нужно и не будет работать», а окажется неправдой.

tcpfinhello
() автор топика
Ответ на: комментарий от static_lab

И все эти 4 хранилища на дисках в 4 квартирах зависят от сохранности одного твоего диска.

Точно так же, как от сохранности одного твоего диска зависит бекап, который ты туда собрался записать. Только в моей схеме исправный диск ещё и обеспечивает забекапленность куда-то в другие места, а не только у тебя дома.

tcpfinhello
() автор топика
Последнее исправление: tcpfinhello (всего исправлений: 1)
Ответ на: комментарий от tcpfinhello

Только в моей схеме исправный диск ещё и обеспечивает забекапленность куда-то в другие места, а не только у тебя дома.

А какая разница? Если у тебя квартира сгорит, или в ней внезапно свет или интернет отключат, все те другие места, считай, тоже уничтожатся.

То есть если твои данные хранятся локально у тебя, пропадут они только при физическом уничтожении диска. А если ты хранишь их в облаке, то ещё обязан гарантировать наличие электричества и интернета. Очевидно, что это менее надёжно.

static_lab ★★★★★
()
Ответ на: комментарий от static_lab

А какая разница? Если у тебя квартира сгорит, или в ней внезапно свет или интернет отключат, все те другие места, считай, тоже уничтожатся.

Есть таймауты, три дня например. Успеешь достать что там тебе надо.

tcpfinhello
() автор топика
Ответ на: комментарий от lenin386

Это только твои проблемы. Будешь доказывать товарищу майору, что тебе скрывать нечего, и этот набор байт - не ДП. Удачи.

Каким образом тогда TOR успешно существует? Даже в РФ есть выходные ноды.

foror ★★★★★
()
Последнее исправление: foror (всего исправлений: 1)
Ответ на: комментарий от PPP328

В Великобритании это уголовное преступление, если вы не даёте полиции ключи расщифровки от своего контента.

Так это не мой контент. Что скажут адвокаты от чатгпт?

foror ★★★★★
()
Ответ на: комментарий от PPP328

В Великобритании

Не образец для подражания. Империя просрана, телефоны на улицах воруют из рук, в центре насрано.

tcpfinhello
() автор топика
Ответ на: комментарий от static_lab

А если я хочу на неделю в отпуск уехать?

Значит ты не вписался в рынок как 30 млн пенсионеров. Ну либо можешь доработать наш гениальный протокол под этот кейс чтобы фишка «хочу выключить комп на месяц» тоже работала. Возможно ты маркируешь свою ноду как «месяц может быть недоступна», тогда и на тебя лбют данные подобного же малокритичного уровня.

tcpfinhello
() автор топика
Последнее исправление: tcpfinhello (всего исправлений: 1)
Ответ на: комментарий от lenin386

Так через твой ИП их качают. Я уже не говорю о том, что закачивают. А в той же Германии за это штрафы автоматом прилетают. Давай дальше думай отмазку.

foror ★★★★★
()
Ответ на: комментарий от lenin386

Давай я тебе в телегу зашифрованнное сообщение сброшу или на почту. Да даже здесь на ЛОР могу сбросить. Оно у тебя в кеше сохранится. И чо? Теперь тебя в бритахе накуканят за это? Что за бред?

foror ★★★★★
()
Ответ на: комментарий от ya-betmen

Не, только ты. Всем вроде очевидно что сеть это ненадежный субстрат.

Давно не очевидно, особенно в столицах. Невозможно утверждать, что у жителя Москвы интернет хоть когда-то пропадает дольше чем на 5 сек в месяц. Ну РКН там чё-то иногда режет, но время такое. Не будем же мы сворачивать глобальные грандиозные идеи локально-временно-существующими проблемами.

Сеть это чуть ли не самый надёжный субстрат, у тебя диск за 10 лет точно сдохнет, а интернет-провайдер мать родную продаст но жить продолжит)

tcpfinhello
() автор топика
Последнее исправление: tcpfinhello (всего исправлений: 3)
Ответ на: комментарий от foror

Если тобой, товарищ, заинтересуются, то зашифрованное сообщение придется товарищу майору расшифровать. И если у тебя таких сообщений подозрительно много, от подозрительно разных людей, то дело будет складываться не в твою пользу.

lenin386 ★★★★★
()
Последнее исправление: lenin386 (всего исправлений: 1)
Ответ на: комментарий от foror

Так это не мой контент.

Чойта он не твой? На твоем компе - значит, твой. Тебе его подкинули? Кто? Как? Когда? Ты хранишь противозаконный контент добровольно, не зная, что там внутри? Это не оправдание, не знание не освобождает от ответственности.

lenin386 ★★★★★
()
Ответ на: комментарий от lenin386

Если тобой, товарищ, заинтересуются, то зашифрованное сообщение придется товарищу майору расшифровать. И если у тебя таких сообщений подозрительно много, от подозрительно разных людей, то дело будет складываться не в твою пользу.

Фантазии диванных зрителей телеканала «Звезда» с пивасиком на диване. Купил ты диск на авито, а там детская порнография хранилась и ты сектора не затёр нулями. Всё, расстрел тебе получается. Жоска.

В жизни всё устроено проще: если тобой ТАК заинтересовались, как ты описал, то тебе просто 300кг кокаина в багажник подкинут и докажи что он не твой. Компьютеры там какие-то ещё. Зачем так сложно. Нет машины и нет багажника, да хосспаде какие проблемы, вместе с жигулём и подкинут.

tcpfinhello
() автор топика
Последнее исправление: tcpfinhello (всего исправлений: 4)
Ответ на: комментарий от tcpfinhello

А пинговать ты сам себя будешь? У тебя на другом конце тоже есть сеть. И там пофиг в какой точке что отпало, это до тебя дойти нельзя.

ya-betmen ★★★★★
()
Ответ на: комментарий от ya-betmen

А пинговать ты сам себя будешь? У тебя на другом конце тоже есть сеть. И там пофиг в какой точке что отпало, это до тебя дойти нельзя.

Пинговать сам буду. Каждый хозяин данных, который что-то залил в облако, должен ходить и пинговать эти данные. Этим он показывает, что он сам жив, а для себя выясняет что там с данными.

tcpfinhello
() автор топика
Ответ на: комментарий от tcpfinhello

Создание сети, где все негодяи мира будут хранить свои файлы, вполне и с очень большой долей вероятности может привести к тому, что тобой ТАК заинтересуются.

lenin386 ★★★★★
()

Я держал ноду sia одно время, ближе к старту проекта. Сдавал место в аренду. Хипстеровато, но в целом работоспособно и полезно. Для хранения оно не было сильно дешевле амазона, но это не удивительно, рыночек же. Там какая-то сумасшедшая избыточность была, x7 кажется.

В связи с недостатком времени давно уже выключил ноду и за новостями проекта не слежу, если основатели всех заскамили или оказались црушниками (или и то и другое), то я не виноват.

legolegs ★★★★★
()
Ответ на: комментарий от tcpfinhello

Ты бы хоть в голове прикинул как это должно работать.

Чтобы сравнить хеш чего-то тебе надо контрольный хеш где-то взять. Вот ты его взял а узел не отвечает. Допустим ты долбишь тот же запрос до победного, значит я могу прикинуться пинговальщиком и попросить один из узлов вернуть этот хеш и ничего не хранить. Если ты будешь запрашивать разные куски то у тех кто хранит бакапы будет постоянно шуршать диск. Или я залью данные и буду постоянно всех пинговать.

Ну и да, тебе надо взять минимум 2 хеша на случай если кто-то фигню отвечает.

ya-betmen ★★★★★
()
Последнее исправление: ya-betmen (всего исправлений: 1)
Ответ на: комментарий от lenin386

Создание сети, где все негодяи мира будут хранить свои файлы, вполне и с очень большой долей вероятности может привести к тому, что тобой ТАК заинтересуются.

Совершенно не ясно откуда эта параноидальшая шиза взялась. Во-вторых откуда кто-то узнает, что там у меня хранится, если даже я не знаю.

tcpfinhello
() автор топика
Ответ на: комментарий от ya-betmen

Чтобы сравнить хеш чего-то тебе надо контрольный хеш где-то взять

Из локальной копии беру.

Допустим ты долбишь тот же запрос до победного, значит я могу прикинуться пинговальщиком

Что. Как второе из первого вытекло я не понял. Почему если «ты долбишь запрос до победного» (что такое «победный» я тоже не понял), ТО «я могу прикинуться». Что мешает прикинуться просто так?

и попросить один из узлов вернуть этот хеш и ничего не хранить

Не можешь прикинуться, принимаются только те команды, которые криптографически подписаны хозяином блока данных. А если ты что-то перестал хранить, то ты в свою очередь просрёшь ответить на чьи-то запросы успешно и тебя накуканят.

Если ты будешь запрашивать разные куски то у тех кто хранит бакапы будет постоянно шуршать диск

В коде опенсорсного клиента написано «если этот чертила уже спрашивал хеши 20 минут назад, то слать его накой».

Идея о том, что это всё децентрализованное и распределённое мне тоже мало симпатизирует, да. Сплошная грёбля в каждом месте с бохчейном и смузи. Но можно подумать как это сделать минимальными жертвами или наконец сделать платный сервис, порабощая компы крепостных за пошлые примитивные вульгарные деньги.

tcpfinhello
() автор топика
Последнее исправление: tcpfinhello (всего исправлений: 4)
Ответ на: комментарий от legolegs

Да тоже слабо верю в подобный проект, но идею обмусолить было необходимо чисто с научной точки зрения)

tcpfinhello
() автор топика
Ответ на: комментарий от tcpfinhello

Ок, я как хозяин блока как сообщу что нодаХ не отвечает мне на запросы чтобы остальных уведомить? Чтобы данные нодыХ удалить.

ya-betmen ★★★★★
()
Последнее исправление: ya-betmen (всего исправлений: 2)
Ответ на: комментарий от ya-betmen

Ок, я как хозяин блока как сообщу что нодаХ не отвечает мне на запросы чтобы остальных уведомить? Чтобы данные нодыХ удалить.

Как в биткоине примерно. Бродкастом в сеть бахнешь запись «я такой-то, мой блок лежал там-то, походу они не отвечают». Некоторые из получивших такое сообщение согласятся помочь установить правду. Консенсусы там всякие ещё надо подумать. Короче разные узлы независимо попингуют в течении суток. У них появится некий результат пингования, всё это как-то оформится в консенсус блабла-куё-моё, эта пачка отчётов в конце-концов придёт. Короче это уже технические детали.

Там в консенсус и вообще в эту всю херобазу надо включать полное описание контракта. Я такой-то, храню вот это, вот пруфы собранные что я это храню, эти пруфы могут выдать такие-то и такие-то участники (их публичные цифровые ключи сообщаешь). Там короче получится длинная такая портянка на 64 килобайта, которая будет типа как «УГОЛОВНОЕ ДЕЛО» со всеми пруфами. Его рассмотрят многие независимые участники сети и признают ту ноду скотиной.

tcpfinhello
() автор топика
Последнее исправление: tcpfinhello (всего исправлений: 1)
Ответ на: комментарий от lenin386

Чойта он не твой? На твоем компе - значит, твой. Тебе его подкинули? Кто? Как? Когда?

Это ты про РФ? Есть страны, где не ты должен доказывать, что не верблюд. Что касается источника, то есть IP адрес откуда эти файлы пришли, есть открытый исходный код софта, который дирижирует этим контентом.

И если у тебя таких сообщений подозрительно много, от подозрительно разных людей, то дело будет складываться не в твою пользу

Ты про TOR? Так работает система, выходных нод куча. Хотя в РФ я бы конечно выходную ноду не делал.

foror ★★★★★
()
Ответ на: комментарий от tcpfinhello

Короче разные узлы независимо попингуют в течении суток.

И откуда они узнаю чем пинговать? хеша то у них нет.

ya-betmen ★★★★★
()
Ответ на: комментарий от tcpfinhello

Разрешается держать свою версию бекапа не на том же диске, который ты использовал как залог.

Это шляпа. Вот схема, когда тебе за сдачу диска начисляются криптофантики, которые ты тратишь на хостинг своего добра и можешь накопить немного, куда более жизнеспособна. Но с избыточностью х7 оно конечно не сможет конкурировать с облачными бекапами, а с меньшей избыточностью будет тяжело сделать, чтобы было надежно. Вот уже упомянули siacoin.

goingUp ★★★★★
()
Последнее исправление: goingUp (всего исправлений: 2)
Ответ на: комментарий от lenin386

Создание сети, где все негодяи мира будут хранить свои файлы

Почему сразу только негодяи? Большая часть будет контент от Васянов. Кстати, в TOR на выходных нодах целые нелегальные сайты существуют. И не вяжут их ЦРУ с ФБР, потому что в суде им у виска покрутят.

foror ★★★★★
()
Ответ на: комментарий от tcpfinhello

мусолить было необходимо чисто с научной точки зрения)

Да не, я-то как раз верю. И построение системы на блокчейне считаю разумным решением. Просто лично мне вкладывать силы было вломы. Возможно, зря.

legolegs ★★★★★
()
Ответ на: комментарий от foror

Внутри США при наличии TOR exit ноды вполне нормально повяжут, но только по факту совершения. Есть преступление, есть факт отправки пакетов с твоего IP, вперёд доказывай что это не ты лично, порадуемся за адвокатов что у них будет работа!

В моей идее всё гораздо более скучно. Тебе положили какой-то зашифрованый блок, он у тебя лежит и больше ты его никуда не пытаешься присунуть и активно распространить или что-то активно сделать. С тебя его скачают только владельцы того же ключа. Ну очень скучно и ничего не видно что там в трафике.

tcpfinhello
() автор топика
Последнее исправление: tcpfinhello (всего исправлений: 1)
Ответ на: комментарий от tcpfinhello

А если ты кривой хеш им отдашь, они проверят ноду, там не совпадает. Они решат её дропнуть.

Ну или нода сама прикинется одним из опрашивающих и вытащит хеш из бакапа на другом узле, или прямо из твоего сообщения.

ya-betmen ★★★★★
()
Последнее исправление: ya-betmen (всего исправлений: 2)
Ответ на: комментарий от legolegs

на блокчейне считаю разумным решением.

Один глобальный блохчейн мне не кажется хорошим по причине его раздувания. Мне симпатичны системы с шардированием блохчейнов или там что-то типа TON в телеграме (который я не особо знаю как работает). Микроблокчейны могут плодиться и уничтожаться в рамках какого-то «контекста» в данной сети. Например один отдельный блокчейн на факт «хранения» некого файла/блока. Когда хранение умерло, блокчейник все выкинули. То есть, там много разных блокчейнов. То есть, один блокчейн - про одно нечто хранящееся, скажем про диапазон блоков. Ну вот тебе эта «сеть» выделила диапазон блоков 0…63999. Дальше ты группируешь блоки 100-2000 в некую сущность «БЛОБ» и хранишь там что-то. И вот на этот факт хранения заводится «ДЕЛО N». Папка такая замусоленная короче типа, блокчейн. Ты его начинаешь, этот блокчейн. В нём все операции подписаны тобой, проверяемы тобой. Тебе другие ноды в этот блокчейн могут ПРЕДЛАГАТЬ записи, а ты можешь их аппрувить. Ну что-то такое. Чем дольше хранится БЛОБ и чем больше по БЛОБУ всяких конфликтных событий или «интересных ситуаций», тем эта папка жирнее и замусоленнее. Но ты можешь её выкинуть когда надоест и вся сеть не пострадает…

tcpfinhello
() автор топика
Закрыто добавление комментариев для недавно зарегистрированных пользователей (со score < 50)