LINUX.ORG.RU
ФорумTalks

Обмен куска своего HDD на кусок чужого HDD

 


0

2

Кто пробовал пользоваться каким-то из известных проектов и каким в этой сфере?

Вкратце идея в том, чтобы отдав «в сеть» 500 гигабайт диска на своём NAS похранить свои 500 гигабайт на рандомных хостах в этой сети.

  1. Ты заявляешься в децентрализованную «сеть бекапов», оглашая своё желание захостить 500 гигов чужих данных.
  2. У тебя есть криптографическая подписть твоего хоста, чтобы твои команды в сеть не перехватили злодеи и т.п.
  3. Сначала сеть тебе устраивает некую проверку в течении, скажем, недели, хостя у тебя рандомные наборы байт и далее хешированием рандомных поддиапазонов хитро проверяя что ты реально честно их хранил, а не выкинул и «сделал вид» и был хорошо доступен всё это время.
  4. ТОЛЬКО ТЕПЕРЬ далее по сети расползается слух о том, что ты вменяем (как-нибудь алгоритмически доказывая всем господам, что ты прошёл проверку) и теперь ты участник: ты можешь залить в это облако 500 своих гигов в обмен на то, что сеть сможет поюзать твои 500 гигов. Гиги юзаются блоками по 8 мегабайт например.
  5. Хранящееся у тебя периодически «пингуется» разными способами, чтобы убедиться что данные лежащие у тебя всё ещё целы и ты не умер. Ну напримре тебе присылают запрос «дай sha256() от диапазона байт [N, M) объекта 0x7182371» и подобное всякое такое. Как только ты начал нести чушь или умер - тебя признают дебилом и все данные, коорые ты где-либо захостил объявляются «можно особождать, хозяин умер».

Смысл участия в этой сети в том, чтобы геораспределённо похранить какие-то свои бекапы. Бекапы твои ты бьёшь на блоки по 8 мб и аллоцируешь их в данной сети типа как в S3. Либо не аллоцируешь, а перезаписываешь существующие. Блоки льются, ясен хрен, как-то там пошифрованные твоим клиентом для доступа в данную сеть. Ну и поверх данного множества блоков ты видишь какую-то файловую систему например - неважно что ты там видишь, главное что твой клиент имеет доступ писать в блоки с номерами от 0 до (500 гигов / 8 мегов) с некой частотой перезаписи одного блоке не чаще раз в час, например. Что логическое поверх этих физических блоков ты там решил представить уже не суть.

Обычно смысл такой штуки в том, что ты эти доступные тебе 500 гигов рубишь ровно пополам и в каждую половину заливаешь копию своего бекапчика. Или рубишь на 10 частей и льёшь 10 копий бекапчика. Зависит от того, количество скольки рандомных 8 мб блоков ты готов пережить.



Последнее исправление: CrX (всего исправлений: 1)
Ответ на: комментарий от ya-betmen

А если ты кривой хеш им отдашь, они проверят ноду, там не совпадает. Они решат её дропнуть.

Зачем ты отдал кривой хеш про данные, в сохранности которых сам же заинтересован. Во-вторых они дропать сразу ничего не будут, они тебе вернут свои результаты расследований, подписанные своими ключами. Ты положишь это себе в микро-блокчейн про данную хранящуюся фигню, которую пинговали. В блокчейне у тебя появятся собранные с нод 100, 300, 400, 800 отчётики про пинг. Ты как-бы собрал доказательства, подписанные назависимыми наблюдателями о том, что что-то мертво. Дальше тебе решать что делать, можешь ничего не делать. А можешь начать процесс суда над этой нодой, отправив бродкастом этот свой маленький блокчейн ряду узлов каких-нибудь. Тут надо как-то найти тех, ЧЬИ данные хранила та нода, которая не пингуется. Чтоби эти люди тоже выкинули её данные. А выкинут они их с радостью, им лишний раз чужое хранить не охота, если этот чужой сдох. Так вот, твой блокчейник про этот файл с собранными пруфами попадает к ним. Они смотрят и исследуют пруфы. Если пруфы пруфятся и подписи разных там доказательств сходятся (можно сходить к авторам тех отчётов - 100, 300, 400, 800 попросить публичные ключи если у тебя их нет например) то нода радостно дропает данные того, кто перестал хранить ТВОИ данные.

tcpfinhello
() автор топика
Ответ на: комментарий от ya-betmen

Ну или нода сама прикинется одним из опрашивающих и вытащит хеш из бакапа на другом узле, или прямо из твоего сообщения.

Ты сам выбираешь ноду, которая будет пинговать что тебе надо. Нельзя просто так стать по своему выбору нодой, которая захочет для тебя кого-то попинговать.

tcpfinhello
() автор топика
Ответ на: комментарий от tcpfinhello

Чтоби эти люди тоже выкинули её данные. А выкинут они их с радостью, им лишний раз чужое хранить не охота

Ну вот и причина зачем отдавать кривой хеш своих данных. Ты дропнешь ноду с чужими бакапами.

Ты сам выбираешь ноду, которая будет пинговать что тебе надо.

Т.е я могу наклепать 100500 нод, залить от каждой файлик в 1мб а потом заставить всех дудосить одну ноду.

Или наоборот, вот как нода которую пингуют должна понять что ты не давал разрешение пинговать? А если я владею 100500 нодами я же могу от каждой прислать пинг типа это ты попросил пинг сделать.

ya-betmen ★★★★★
()
Последнее исправление: ya-betmen (всего исправлений: 2)
Ответ на: комментарий от ya-betmen

Ну вот и причина зачем отдавать кривой хеш своих данных. Ты дропнешь ноду с чужими бакапами.

Я ваще ничего не понял. Можно точный алгоритм чего ты там хакнул и как с первого шага?

tcpfinhello
() автор топика
Ответ на: комментарий от ya-betmen

Т.е я могу наклепать 100500 нод, залить от каждой файлик в 1мб а потом заставить всех дудосить одну ноду.

  1. Не можешь. Сказано же, что в opensource клиенте написано «если за этим блоком приходили за последние 20 минут один раз, то слать нах».
  2. Если ты наклепал 100500 нод, то ты уже финансово засуицидился и наш проект тебя победил чисто экономически гирю тебе повесив на ногу, бугага, побарахтаешься там немножечко и затонешь.
tcpfinhello
() автор топика
Последнее исправление: tcpfinhello (всего исправлений: 1)
Ответ на: комментарий от tcpfinhello

Я могу наклепать 100500 нод с одного компа. Чтобы кого-то куда-то послать тебе запрос сначала нужно обработать. Для дудоса пофиг что ты там ответил и кого куда послал.

ya-betmen ★★★★★
()
Ответ на: комментарий от tcpfinhello

Можно точный алгоритм

После того как ты даш точный алгоритм своей ебалайки.

Суть такая, я залил в сесть файл, он осел на нодеХ. Я отправил в сеть уведомление, что нодаХ похерила мне файл и на запрос не отвечает, вот хеш, в качестве хеша рандомный набор байтиков. Ноды потыкали нодуХ, нодаХ посчитала правильный хеш. Ноды положили в хранилище что нодаХ врет. Система дропнула нодуХ.

ya-betmen ★★★★★
()
Ответ на: комментарий от ya-betmen

Я могу наклепать 100500 нод с одного компа. Чтобы кого-то куда-то послать тебе запрос сначала нужно обработать. Для дудоса пофиг что ты там ответил и кого куда послал.

Если ты хочешь заниматься дудосом (правда тут он не «ДУ»), ты и так можешь себе ни в чём не отказывать даже и без этой мегасети. Можешь пойти сайт fontanka.ru подудосить если тебе такое по приколу. Я не понял как это раскрывает какие-то там уязвимости алгоритма/идеи)

tcpfinhello
() автор топика
Ответ на: комментарий от ya-betmen

Суть такая, я залил в сесть файл, он осел на нодеХ. Я отправил в сеть уведомление, что нодаХ похерила мне файл и на запрос не отвечает, вот хеш, в качестве хеша рандомный набор байтиков. Ноды потыкали нодуХ, нодаХ посчитала правильный хеш. Ноды положили в хранилище что нодаХ врет. Система дропнула нодуХ.

Ты захотел удалить свой файл, но удалил его извращённым способом. Не запрещено. С чужими файлами ты ничего сделать не сможешь, цифровая подпись не сойдётся, а над своими извращайся как хочешь.

Опять же, мы сейчас теоретизируем даже без чёткого описания алгоритма.

tcpfinhello
() автор топика
Последнее исправление: tcpfinhello (всего исправлений: 1)
Ответ на: комментарий от ivama

Нуууу… У меня есть два варианта: корпоративное хранилище, которое я и создавал (CEPH, 100 Тб) и домашний сервак с RAID6 немного меньше по размерам (он же отопление балкона в зимний период).

Dorif ★★★
()
Ответ на: комментарий от ya-betmen

Ну вот и я о том что ты не понял почему твоя идея не работает.

Так нет никакой окончательной идеи ещё. Если ты видишь, что что-то не работает, то надо предложить таких улучшений, чтобы работало. Цели поплакать тут нет у нас, надо решить задачу.

tcpfinhello
() автор топика
Ответ на: комментарий от tcpfinhello

Единственный способ решения это постоянно гонять параитный траффик с чтением рандомных мест и сопоставленем с другими копиями. Плюс нужен выделенный сервер которому все участники должны доверять решение вопросов кто кому и сколько.

ya-betmen ★★★★★
()
Ответ на: комментарий от ya-betmen

и сопоставленем с другими копиями.

Так мой хеш это и делает.

tcpfinhello
() автор топика
Ответ на: комментарий от ya-betmen

Не готов общаться вырванными из контекста кусками. Но у меня и законченного описания алгоритма нет, так что больше чем «вау, вау, мне кажется у нас что-то получится» предложить не могу.

tcpfinhello
() автор топика
Последнее исправление: tcpfinhello (всего исправлений: 2)
Ответ на: комментарий от tcpfinhello

Так ты сходи и выше тогда всё целиком сообщение прочитай, ты ж сам его писал.

Так мой хеш это и делает.

Твой хеш ничего не делает, ты ж сам написал что если часто идут запросы то режектить.

ya-betmen ★★★★★
()
Ответ на: комментарий от ya-betmen

А, уже оказывается мои хеши тупо ничего не делают. Ну ладно, разговор зашёл в тупик. Ну не понял и не понял, нормально объяснить можно будет только при наличии нормального PDF пейпера)

tcpfinhello
() автор топика
Последнее исправление: tcpfinhello (всего исправлений: 1)
Ответ на: комментарий от CrX

В случае же с использованием просто своего NAS, у тебя будет лишь одна копия

Кто мешает сделать две копии на двух отдельных HDD? Я вот делаю.

watchcat382 ★★
()
Ответ на: комментарий от tcpfinhello

Я когда-то на досуге полистал кейсы с 272 ук рф, Эшники раньше вставали на раздачу порно-торрентов и просто записывали IP адреса тех кто к ним подключается, потом шли к провайдерам за паспортными данными и шили 272 статью с отягощением в виде использования СМИ «Интернет»

Товарищу майору не нужно будет ломать aes256, ему будет достаточно загрузить тебе на комп порнофильм и скачать его обратно, и у него, объективно говоря, будет неоспоримое доказательство.

Gary ★★★★★
()
Ответ на: комментарий от tcpfinhello

П.С. попутал номер статьи, я про 242

По твоей логике, сервис Яндекс.Диск давно бы разогнали такие майоры)

Яндекс - большой бизнес, и он не подпишет дрожащими руками явку с повинной в обмен на условный срок. А к обычным гражданам с этой темой приставали, достаточно погуглить.

Gary ★★★★★
()

Вообще расписали уже, надежность таких бекапов зависит от двух вещей:

  • надежности твоего сервера, которую ты в принципе обеспечить не можешь
  • настроения людей, которым ты доверил свои бекапы

Проще и надежней воспользоваться существующими бекап сервисами, или арендовать сервера самому

Gary ★★★★★
()
Ответ на: комментарий от Gary

Да и на улице просто так герыч могут подкинуть или топором зарубить. Это будет статья -100500 УК РФ, тоже страшненько. Причём такая фишка работает вообще в любой стране и даже в той, где нет УК. Вот это действительно жесть так жесть.

tcpfinhello
() автор топика
Последнее исправление: tcpfinhello (всего исправлений: 4)
Ответ на: комментарий от Gary

С технологией из этого треда:

  1. В тот момент, когда надёжность моего сервера обеспечена, я получаю 8-кратное геораспределённое реплицирование. Когда надёжность моего сервера не обеспечена, я не получаю.

Без технологии из этого треда:

  1. В тот момент, когда надёжность моего сервера обеспечена, я получаю 1-кратное геораспределённое реплицирование. Когда надёжность моего сервера не обеспечена, то не получаю.
tcpfinhello
() автор топика
Последнее исправление: tcpfinhello (всего исправлений: 1)
Ответ на: комментарий от tcpfinhello

В тот момент, когда надёжность моего сервера обеспечена, я получаю 8-кратное геораспределённое реплицирование.

Ну такое себе 8-кратное геораспределённое реплицирование, если при отказе твоего 1 подкроватного сервака все реплики приходят в негодность 🤷

Без технологии из этого треда

Сколько арендуешь столько и будет реплик, при этом они будут на порядок надежней

Gary ★★★★★
()
Ответ на: комментарий от Gary

Ну такое себе 8-кратное геораспределённое реплицирование, если при отказе твоего 1 подкроватного сервака все реплики приходят в негодность

Они делают это с приличной задержкой, успеешь достать.

tcpfinhello
() автор топика
Ответ на: комментарий от watchcat382

Кто мешает сделать две копии на двух отдельных HDD?

Отсуствие второго HDD, например. Пример же дан вполне понятный, хоть и упрощённый.

CrX ★★★★★
()
Ответ на: комментарий от CrX

Отсуствие второго HDD

Ну сейчас же не 90е годы когда компьютерное железо стоило столько что лишний диск купить было довольно затруднительно.

watchcat382 ★★
()
Ответ на: комментарий от tcpfinhello

Биткоинщики щас оценили твой гениальный ход мысли.

Да, вы предлагаете такую же шляпу, как биток.

tiinn ★★★★★
()
Ответ на: комментарий от watchcat382

Ну сейчас же не 90е годы когда компьютерное железо стоило столько что лишний диск купить было довольно затруднительно.

Сейчас как раз на HDD цены неадекватные. Но да, лет пять назад этот аргумент был справедлив. Ну и надеюсь, что через пару лет снова станет. Не может это безумие с перегревом нейрохайпа длиться вечно.

В любом случае ещё раз повторю: я не топлю за предложенное решение и вижу его бесперспективным, в первую очередь из-за того, что мы уже видели всякие IPFS и подобное, и сабжевая идея на мой взгляд не взлетит по тем же причинам — не техническим, а организационным — не наберётся критической массы заинтересованных, чтобы оно в итоге было хотя бы как-то эффективно. А в том посте я отвечал на конкретный вопрос, перечислив очевидные плюсы и минусы данного подхода. Кому там что затруднительно, что нет, насколько плюсы ценны, а минусы критичны — это вопрос уже другой, и меня в бесперспективности данной затеи убеждать не надо, я и так отношусь к ней крайне скептически. Но это не мешает перечислить объективные плюсы и минусы.

CrX ★★★★★
()

Tahoe LAFS? В I2P балуются таким

upcFrost ★★★★★
()
Ответ на: комментарий от tcpfinhello

Они делают это с приличной задержкой, успеешь достать

Вот примерно так браки по залету и происходят

upcFrost ★★★★★
()
Ответ на: комментарий от tcpfinhello

Твоя незамутнённость изумляет, ты с гор чтоле спуcтился? Яндекс очень сильно сканирует то, что ему заливают, на предмет легальности. Не знал чтоли этого? Попробуй туда прон залей, свободолюбивец. Да какой прон, даже обычное копирайченное кино не пролезет.

lenin386 ★★★★★
()
Последнее исправление: lenin386 (всего исправлений: 5)

тут куча статей УК РФ, если к тебе это применимо.
а так ещё больше статей локальных УК вплоть до распространения торрентов и сопутствующего, для начала.
«ну чтобы что?»(тм)

какие-то свои бекапы

«наивная чукотская девушка»(с)

etwrq ★★★★★
()
Последнее исправление: etwrq (всего исправлений: 1)
Ответ на: комментарий от tcpfinhello

Был бы человек, а статья найдётся.

как самокритично. всё ж есть уже.

etwrq ★★★★★
()
Ответ на: комментарий от lenin386

Ну, так проверь

ssh на серваки яндекса и посмотреть скрипты предлагаешь?

Предлагаю прекратить обсуждать в треде:

  • УК РФ и политоту с домыслами. Ссытесь РФ - разрешаю деплоить мою идею в другом месте.
  • Конспирологию и сокрытие информации и анонимизацию. Цель вообще не в этом. Деанонимизировали и посадили - лох, чо.

Обсуждается только чисто техническая идея.

tcpfinhello
() автор топика
Последнее исправление: tcpfinhello (всего исправлений: 2)
Ответ на: комментарий от tcpfinhello

Предлагаю просто попробовать залить им палёный файл и убедиться, как далеко ты с этим файлом пойдёшь.

lenin386 ★★★★★
()
Ответ на: комментарий от CrX

Сейчас как раз на HDD цены неадекватные.

По-моему нынче дисковое место (на мехнических дисках) очень дешевое. Я застал времена когда диски были по 40 МЕГАбайтов - вот тогда цены за мегабайт дикие были.

И, кстати, время показало что именно механический HDD, лежащий на полке, является самым надежным носителем данных.

идея на мой взгляд не взлетит по тем же причинам — не техническим, а организационным

Согласен с вами. Люди вообще изрядно разучились организовываться для достижения общих целей. Даже по сравнению с поколением моих родителей.

watchcat382 ★★
()
Ответ на: комментарий от watchcat382

По-моему нынче дисковое место (на мехнических дисках) очень дешевое.

Это не соответствует действительности. Дешёвым оно было где-то с 2010 по 2023 или около того. Сейчас цены в 2–3 раза выше нормальных. Но есть надежда, что потихоньку откатываются к норме.

Я застал времена когда диски были по 40 МЕГАбайтов - вот тогда цены за мегабайт дикие были.

А по-по-пооомнишь, дискеееты…

Да-да, я тоже много чего застал. Мне не очень интересно заниматься такой вспоминихой в данной конкретной теме.

upd: с 2–3 я немного ошибся, скорее в 3–5 раз.

Например, осенью 2023 года я покупал Seagate Exos ST16000NM001G (16 ТБ, 7200 об) за 20 200 ₽ или примерно $230 по тогдашнему курсу, если не ошибаюсь. Сейчас он стоит там же 76к с копейками, или почти $1000. То есть, 4+ раза дороже в долларах, ну или почти в 4 раза дороже в рублях. Да и в целом цены диски такого объёма даже более «младших» моделей начинаются от 65к, то есть даже в рублях всё равно более чем в 3 раза дороже.

CrX ★★★★★
()
Последнее исправление: CrX (всего исправлений: 1)
Ответ на: комментарий от lenin386

Предлагаю просто попробовать залить им палёный файл и убедиться, как далеко ты с этим файлом пойдёшь.

Пробовал, всё ништяк, исправно хранят мои шифрованые бекапы с 2015 года, заливаемые каждые день по новому файлику.

tcpfinhello
() автор топика
Ответ на: комментарий от tcpfinhello

Значит, ничего палёного в твоих файлах нет. Но ты просто не представляешь, сколько в мире негодяев, желающих тебя подставить.

lenin386 ★★★★★
()
Ответ на: комментарий от tcpfinhello

Деанонимизировали и посадили - лох, чо.

лол, ты сладкий.

Предлагаю прекратить обсуждать в треде:

УК РФ и политоту с домыслами. Ссытесь РФ - разрешаю деплоить мою идею в другом месте.

не распространяй, рефлексируй. ты где это пишешь? .ru? maxcom

etwrq ★★★★★
()
Ответ на: комментарий от watchcat382

И, кстати, время показало что именно механический HDD, лежащий на полке, является самым надежным носителем данных.

Несколько нейронок опрашивал по этому поводу, они все хором указывают на деградацию механики: банально густеет смазка в разных узлах. Двигатель блинов и ось вращения рычага. В дисках даже есть «алгоритмическая подсистема» Preventative Wear Leveling (PWL). Это оно трещит и стучит, когда HDD стоит в простое. Алгоритм пытается двигать коромыслом так, чтобы смазку распихивало равномерно где-то там в оси рычага. «Заиление смазки». Ещё эта смазка не любит долго быть нагретой выше 50 градусов, она густеет. Ну на полке-то нет 50 градусов шкафу, но я в целом о том, что вот этот смазочный вопрос всё ломает.

Потом где-то на хабре столкнулся с фанатами хранения данных на DVD-ROM. Сначала я их обвинял, типа через 2-3 года у вас ничего не будет читаться. Потом поднянулось ещё народу и тоже их ругало про то же. На что фанаты сказали пару интересных вещей:

  • если взять правильный сидюк который умеет возвращать какую-то там полу-системную информацию о качестве трека (грубо говоря какое-то соотношение сигнал/шум) и ЕСЛИ после записи сразу же прочитав такую информацию вы видите высокий этот «сигнал/шум», то ваш рандомный DVD-ROM с помойки протянет не менее 30 лет, а если плохой сигнал-шум - вот он и помрёт. Кажется речь про PIE, PIF, POF метрики, но это не точно.
  • нормальные люди давно уже не пишут на органические подложки, а пишут на некий M-DISK (https://ru.wikipedia.org/wiki/M-DISC) где запись происходит путём продырявливания в стеклоуглероде, который не плывёт со временем и диск может читаться через типа 1000 лет без проблем, потому что там прямо вообще ничего никуда не плывёт от слова совсем, все мамой клянутся. Мол типа архивные учреждения на M-DISK сидят уверенно. Основная проблема найти M-DISK оригинальный, а не китайскую подделку, бугага.

Ещё помню давно-давно были энтузиасты, которые на VHF мафоны писали. Видеоголова на достаточно высокой частоте вращается. На видеокассету у них прямо дофига влезало. Если добавить избыточности и писать медленно, то оно ещё и долго сохранится!

В США даже раньше выпускались спецдевайсы, которые подключались к VHS-видеомагнитофонам и видеокадры пихали матрицы с квадратиками (типа такие QR-коды из мелких квадратиков на весь экран) и скорость была 44100 семплов в секунду. Пихали и умели воспроизводить. PCM 16 бит 2 канала 44100 делали на видео. Оттуда потом CD-диски унаследовали 44100 ГЦ.

tcpfinhello
() автор топика
Последнее исправление: tcpfinhello (всего исправлений: 4)
Ответ на: комментарий от etwrq

не распространяй, рефлексируй. ты где это пишешь? .ru? maxcom

Ого, оказывается в русскоязычном домене интернета нельзя разрабатывать алгоритмы и идеи, которые потом будут деплоиться где-нибудь в Новой Зеландии? То есть, все кто из России коммитили в kernel, например, тупые. Или если ты сидел в России и пилил какой-то код, который потом какие-то люди запустили в Швейцарии, то ты тоже чертила?

tcpfinhello
() автор топика
Последнее исправление: tcpfinhello (всего исправлений: 2)
Ответ на: комментарий от lenin386

Значит, ничего палёного в твоих файлах нет. Но ты просто не представляешь, сколько в мире негодяев, желающих тебя подставить.

Лично проверял на украинских мошенниках. Они доставали все мои личные данные, показывали мне мои фотки, адреса проживания, паспортные данные, грозились набрать на меня кредитов. Результата ноль. Не стоит веровать во всесильность злых хацкеров и криминала, у этих ребят не самая крепкая резьба на свете, на каждую хитрую гайку найдётся винт пожирнее! Вот ты задеплоил у меня свои запрещённые данные, желая меня подставить, а я товарищем майором оказался и это был HoneyPot, бугага.

tcpfinhello
() автор топика
Последнее исправление: tcpfinhello (всего исправлений: 1)
Закрыто добавление комментариев для недавно зарегистрированных пользователей (со score < 50)