LINUX.ORG.RU

Я отдаю 1 ТБ - мне отдают 1ТБ

 ,


1

3

Существует что-то подобное? Вся информация естественно в зашифрованном виде. Пытался в ipfs подобное проделать, там оказывается нужно «убедить» сообщества, чтобы мои данные кто-то ещё разместил себе. Даже странно как-то, что нет простых и очень простых решений с хранением данных не централизованным.



Последнее исправление: esperantisto (всего исправлений: 1)

Ответ на: комментарий от Harald

А спрятать жёсткий со своим зашифрованным видео с лолями в какой-нибудь схрон не пойдёт? Обязательно на чужих компах? :)

Оба варианта имеют преимущества и недостатки

anonymous
()
Ответ на: комментарий от Pinkbyte

Точно нет. Тот проект был, по-моему, на какой-то малоизвестной вики, возможно связаной с конференцией CCC.

token_polyak ★★★★
()
Ответ на: комментарий от esperantisto

В любой момент могут прийти «отжать» все имущество, объявив его заразным

Это в какой стране? Если речь про РФ то хотелось бы пруф на закон увидеть.

Дабы потом с нового ПК всё восстановить\ перекачать себе.

Для таких целей берут облака. Самое близкое это google и backblaze. На гугле у меня бесконечное хранилище, ограничены только запросы в сутки. Никто не мешает лить шифрованные архивы хоть петабайтами.

А то что ты просишь это бред. Чисто математически, равноценный размен не предполагает избыточности, уйдет один участник обмена, а полягут все. Как уже выше верно сказали, либо меняешь по курсу 1 к 5, либо сидишь и очкуешь. Даже очковать и то удобнее с винтом под паркетом.

Lordwind ★★★★★
()

Когда-то давно, исошник дебиана переименнованный в Deep.Anal.Inspection.XXX.avi был в топе скачивания с моего компа в осле. Но время жизни этого файла на других компах было весьма мало.

cocucka ★★★★☆
()
Ответ на: комментарий от cocucka

У нас у провайдера наоборот было. Как выходил какой-нибудь шрек или другое семейное кино, то в DC появлялось жесткое порево со стилизованным под файл с торрент трекера названием. А админ гонялся, пытаясь выяснить, кто оригинальный источник, нескольких человек от локалки отрубили по слухам. Но не помогало, весёлое время колхозной организации.

FedyaPryanichkov ★★
()
Последнее исправление: FedyaPryanichkov (всего исправлений: 2)
22 апреля 2021 г.
Ответ на: комментарий от esperantisto

hdd из дому украсть могут.

Какая разница: не украдут у тебя - украдут у того, у кого твои 1 ТБ. Любая кража или потеря в такой сети без резервирования (один к одному) - это потеря информации. Если размазать твои данные по всем участникам, то любая потеря хоть одного участника - это порча/потеря твоих данных. Сохранность твоих данных уменьшается с увеличением размера сети.

anonymous
()
Ответ на: комментарий от anonymous

то любая потеря хоть одного участника - это порча/потеря твоих данных

Чтобы избежать этого, кусочки данных в нормальной p2p хранятся не в единственном виде.

Novator ★★★★★
()
Ответ на: комментарий от Novator

Отсюда следует логичный (не)справедливый вывод.

«Я отдаю X TБ - мне отдают 1 ТБ.»

Чему равно X?

anonymous
()
Ответ на: комментарий от anonymous

«Я отдаю X TБ - мне отдают 1 ТБ.»
Чему равно X?

В комнату залетело 3 оранжевых крокодила, из гаража выползло 5 зеленых чебурашек. Сколько винипухов сидит на дереве?

Novator ★★★★★
()
Ответ на: комментарий от KivApple

Так данные шифрованные же.

Прокурору будете рассказывать. Вам покажут, что с вашего IP отправлялись нелегальные данные.

X512 ★★★★★
()

Это не реализуемо.
Точнее не целесообразно экономически - стоимость хранения копейки в сравнении со стоимостью передачи, а при децентрализованном хранении в пяти местах надо:

  • передать файл на сервер-распределитель, который зашифрует, побьет и передаст Файлы другим участникам
  • сервер должен передать весь объём пять раз хотя бы шести участникам (шоб не было хранения полной копии в одном месте)
  • сервер должен переодически убеждаться в доступности копий и их валидности (в идеале - иногда выкачивая копию для проверки не накалывает ли хитрый клиент храня только хэши вместо файлов)
  • при отсутствии пятой копии, сервер должен выкачать у участников полную копию (ибо только он в курсе какие сегменты собирают копию) и раскидать ее по другим участникам (ну или организовать п2п с проверками по ходу)

Итого твой 1Тб превращается в 6Тб траффика на выходе и при каждом изменении файла, ещё до того момента как участники начали отваливаться.
При этом без гарантий сохранности (шанс что все пять копий обвалятся вполне себе шанс, особенно если хранение будет разбито не на двух участников (риск дискредитации) а на 20+), без реальной децентрализации (хотя в теории ты и можешь шифровать/распределять сам, но на практике это навернет первый школьник, который начнёт рассылать детское порно в открытом виде из модифицированного на два байта клиента) и в целом без страха и упрёка.
При этом за цену двух 1Тб дисков для хранения в зеркале 2500х2 за самые чиповые) ты можешь купить 1Тб в Яндексе на два года (как не странно, но тоже 2500х2), иметь к ним доступ из любой точки интернетов в любой момент времени (да, даже когда дома отключили интернет/электричество/встал раком твой хз как настроенный сервер, а ты в попе мира) и не слушать их шуршания 24х7 :-)

rukez ★★★★
()
Ответ на: комментарий от Novator

Сколько винипухов сидит на дереве?

Ответ: ★★★★

И вопрос на засыпку? Как ты собираешься создавать избыточность, если каждый участник забирает столько же, сколько отдает? Я знаю только одну временно устойчивую схему - пирамида, она же схема Понци, когда последующие участники обеспечивают дополнительную (избыточную) прибыль предыдущих.

anonymous
()

Даже странно как-то, что нет простых и очень простых решений с хранением данных не централизованным.

Простых решений для такой сложной задачи нет и быть не может. Лучшие умы бьются над этой проблемой уже давно, в результате родили filecoin. Как оно работает, не знаю, не пробовал. На подходе ethswarm, тоже перспективный проект. Есть всякие sia, storj и кто-то ещё, но насколько мне известно, оно не юзабельное.

yvv ★★☆
()
Ответ на: комментарий от anonymous

Если украдут у того, у кого мои 1 ТБ, сразу делается ещё одна копия на выбранные рандомные HDD.

esperantisto
() автор топика
Ответ на: комментарий от KillTheCat

я так и не понял как мне предоставить свой HDD и самому заливать файлы.

esperantisto
() автор топика
Ответ на: комментарий от token_polyak

был

Дай угадаю, помер от отсутствия избыточности и, как следствие, потери данных?

izzholtik ★★★
()
Ответ на: комментарий от esperantisto

какое разочарование

Они хотели порева, конечно, но с systemd - это уже перебор.

devl547 ★★★★★
()
Ответ на: комментарий от rukez

«даже когда дома отключили интернет/электричество»

Эта, можно подробнее как это работает?

anonymous
()
Ответ на: комментарий от anonymous

Эта, можно подробнее как это работает?

пфф легко:

  • соседи меняют проводку, электрик рубанул щиток
  • мамка/жена/кошка (с кем ты там живешь) включила чайник+утюг+паяльник+выжигатель демонов в одну ветку и сработал автомат
  • бомжи спёрли/обоссали свитч в подвале
  • любое вышеописанное произошло не у тебя а между тобой и дц провайдера
  • забыл заплатить за интернет, уехал в командировку

я за город переехал так тут ваще приколов своих масса:

  • снег сошёл с крыши вместе с оптикой
  • электрик приколист не обжал нормально ноль, он упал вместе с вороной
  • местечковая ВЧ отправила к праотцам свой ввод но у неё приоритет первого класса и всю округу отключили в её пользу

и это мне еще прёт что провайдер хоть оптикой до питера прямой идёт, инет стабильней электроснабжения, судя по логам линка и генератора :-)

rukez ★★★★
()
Ответ на: комментарий от anonymous

Как ты собираешься создавать избыточность, если каждый участник забирает столько же, сколько отдает?

Вот тебе ситуация.
Есть три узла: 1, 2 и 3.
У каждого свой файл: A, B, C размером по 100кБ.

Если узел 1 хочет сохранить свой файл A на узле 2, то он должен сохранить его файл B у себя.

Если же узел 1 хочет сохранить файл A и на 2, и на 3, то он должен сохранить у себя и B, и C.

Т.е. если ты хочешь сохранить 100кБ на одном узле, то принимаешь 100кБ, а если хочешь сохранить на 2х, то принимаешь 200кБ.

Чудес не бывает.

Тот, кто выставляет файл в сеть, должен указать, какое количество копий он хочет сохранить. И он должен быть готов хранить в кратное число больший объем.

Novator ★★★★★
()
Ответ на: комментарий от rukez

сервер должен переодически убеждаться в доступности копий и их валидности (в идеале - иногда выкачивая копию для проверки не накалывает ли хитрый клиент храня только хэши вместо файлов)

Не обязательно скачивать файл или даже какой-то участок - достаточно запросить хэш случайного фрагмента с предлагаемой случайной солью.

Например, «вот тебе соль 3465435432, дай мне SHA1 фрагмента с байта 1000 до байта 2000 с наложенной солью».

Узел присылает хэш, сравниваешь и убеждаешься то или не то.

Novator ★★★★★
()
Ответ на: комментарий от Novator

зел присылает хэш, сравниваешь и убеждаешься то или не то.

тогда сервер должен либо:

  • хранить целиком файл у себя (а зачем тогда участники?)
  • хранить какой-то кусок и долбить только в него (тогда хитрый клиент может хранить только один кусок файла)
  • заранее нагенерировать себе индексов кусков, солей, посчитать под них кучку вариантов хешей, хранить их у себя и каждый раз это повторять при обновлении файла (притом если файл таки не обновится а хеши кончаться то придётся, таки, выкачивать)

повторюсь - не всё так просто

rukez ★★★★
()
Ответ на: комментарий от rukez

тогда сервер должен

В истинной p2p нет никаких серверов.

хранить целиком файл у себя (а зачем тогда участники?)

Не должен. Я тебе привел упрощенный пример.
В реальности узел может запрашивать у другого узла хэш фрагмента куска файла, если файл хранится по кускам (а не целиком).

хранить какой-то кусок и долбить только в него (тогда хитрый клиент может хранить только один кусок файла)

Узел, который хранит и отчитывается, не может заранее знать, какой фрагмент будет проверять Узел-«хозяин» файла. Каждая проверка верифицирует случайный фрагмент со случайной солью.

заранее нагенерировать себе индексов кусков, солей

Невозможно заранее нагенерировать все комбинации «солей» и «кусков». При длине соли 256 байт и файле размером более 256 байт, нет физического носителя, который бы смог бы сохранить все комбинации. И даже если найти такой носитель, то это будет в миллионы раз сложнее, чем хранить сам файл - при этом теряется смысл имитации хранения (так как легче хранить сам файл).

Novator ★★★★★
()
Последнее исправление: Novator (всего исправлений: 1)

Я отдаю 1 ТБ - мне отдают 1ТБ

Это так не работает. Ты же не хочешь зависеть от одного человека, который может внезапно исчезнуть вместе с твоими данными? Значит должно быть дублирование. Т.е. ты отдаешь терабайт, получаешь 500Гб, но твои данные хранятся уже в двух местах. Или получаешь 250Гб и они хранятся в 4 местах. Как-то так.

Im_not_a_robot ★★★★★
()
Последнее исправление: Im_not_a_robot (всего исправлений: 1)
Ответ на: комментарий от LongLiveUbuntu

И доверить свои данные чужому дяде, ага.

Если они шифрованные, то приемлемо.
Ты в нешифрованном виде хранишь данные в ГуглДокс, Маил.Ру, Телеграмм и не жужжишь.

Novator ★★★★★
()
11 июля 2021 г.
Ответ на: комментарий от anonymous

Freenet

Это займет 23 года. Скорость отдачи 1.33 кбайт/с. Даже на диалапе было больше. Скорость приема, правда, повыше - 18 кбайт/с. Возможно, скорость повысится, если долго сидировать (помогать сети). Сохранность данных никто не гарантирует (при неактивности), на скольких серверах все хранится, и что будет, если пара крупных из них сдохнет. У меня пока нет особой статистики. Но за 3 дня тестовая фотка (4 МБ) не потерялась. Главное знать URL. Данныу доступны всем, вроде.

anonymous
()

Проблема не очень простая.

  1. Как проверить, что узел действительно хранит переданные ему данные? Причём без знания исходных данных. Ты залил свои бэкапы и выключил компьютер на год.

  2. Нужно хранить в нескольких копиях, причём динамически перераспределять, например узел ушёл в offline - значит нужно срочно все данные, которые хранились на этом узле, скопировать на другие узлы. Узел вернулся из offline - избыточные копии можно удалять.

  3. Нужно это всё интегрировать с деньгами, т.к. одни хотят заплатить и хранить у других, а другие хотят получить деньги и хранить у себя.

  4. Естественно в этой сети по определению все враги, которые хотят выкинуть твои данные и забрать твои деньги. Т.е. нужен протокол, учитывающий это всё.

  5. Это всё должно быть ощутимо дешевле, чем у централизованных сервисов, ибо децентрализация сама по себе никому не нужна.

В целом попытки реализовать это всё есть и если ты поищешь, легко найдёшь. Но всё упирается в пятый пункт. Так получается, что цены облачных хранилищ слишком дёшевы и хранить в таком «облаке» большого смысла нет, когда можно хранить у профессионалов.

Legioner ★★★★★
()
Последнее исправление: Legioner (всего исправлений: 1)
Ответ на: комментарий от anonymous

Похоже это зависит от лимитов исходящей и входящей скорости. Но зависимость какая-то нелинейная. При глобальном исходящем лимите 16 кбайт/с скорость заливки файла 1.33 кбайт/с (это 1/12). При глобальном исходящем лимите 50 кбайт/с скорость заливки файла 1.95 кбайт/с (это 1/25). И больше коннектов с узлами (было 5, стало 8). Сервера, которые встречаются чаще всего в US: 167.142.43.38, 69.113.169.84, 97.104.134.9. Но их много по всему миру. Сейчас много немецких появилось. Были из Канады, Тайваня, Чили, Украины.

Я так полагаю, также нужен хороший интернет канал. Белый IP и побольше uptime. Прикольная прога, мне нравится. Java, стильное управление через web. Существует с 2000 года, и будет работать даже на XP (так как Java 8 устраивает) в отличии от новомодных поделок, типа Matrix и сишных прог.

anonymous
()

Я отдаю 1 ТБ - мне отдают 1ТБ

Я отдаю 1 ТБ - мне отдают 1ТБ == 0.
Можно и наоборот

мне отдают 1ТБ - Я отдаю 1 ТБ == 0
anonymous
()
27 августа 2021 г.
Ответ на: комментарий от Legioner

1. Как проверить, что узел действительно хранит переданные ему данные? Причём без знания исходных данных. Ты залил свои бэкапы и выключил компьютер на год.

Делаешь на год вперед таблицу случайных смещений и длин:
1 января: смещение1-длина1-хэш1
2 января: смещение2-длина2-хэш2
...
31 декабря: смещение365-длина365-хэш365
. Данные удаляешь, а таблицу хранишь. Отправляешь каждый день «смещение-длину», тебе вычисляют хэш, ты проверяешь.

2. Нужно хранить в нескольких копиях, причём динамически перераспределять, например узел ушёл в offline - значит нужно срочно все данные, которые хранились на этом узле, скопировать на другие узлы. Узел вернулся из offline - избыточные копии можно удалять.

Если кто-то ушел офлайн, то он не получит бабки. А «купить» новый узел не проблема - данные он возьмет с узлов, к-е ты ему сообщишь.

3. Нужно это всё интегрировать с деньгами, т.к. одни хотят заплатить и хранить у других, а другие хотят получить деньги и хранить у себя.

Можно платить ежедневно, еженедельно, ежемесячно - как договоритесь. Деньгами может быть криптовалюта например.

4. Естественно в этой сети по определению все враги, которые хотят выкинуть твои данные и забрать твои деньги. Т.е. нужен протокол, учитывающий это всё.

Ты ещё забыл упомянуть, что Хозяин данных захочет кинуть хранителей, не платить им. Поэтому проверять должен не один узел, а несколько. И деньги Хозяин должен перечислять третьим (доверенным для обеих сторон) узлам, и если данные были доступны, третьи узлы в конце периода выплачивают сумму, себе берут процент.

5. Это всё должно быть ощутимо дешевле, чем у централизованных сервисов, ибо децентрализация сама по себе никому не нужна.

Всё зависит от типа данных. Если центральные сервисы начнут драть жопу за шифрованные данные (а они обязательно начнут), тогда народ и засуетится.

И потом, нужна не просто хранилка данных, а p2p-сеть позволяющая общаться, что-то типа социальной и деловой сети в одном флаконе, тогда и p2p-хранилка будет востребована.

Novator ★★★★★
()
Последнее исправление: Novator (всего исправлений: 2)
Ответ на: комментарий от Novator

Ты залил свои бэкапы и выключил компьютер на год.

Отправляешь каждый день «смещение-длину», тебе вычисляют хэш, ты проверяешь.

У меня компьютер выключен. Он ничего не может отправлять.

Если кто-то ушел офлайн, то он не получит бабки.

Моя цель - получить назад данные, а не сэкономить бабки. Если кто-то ушёл оффлайн, значит данные пропали.

Также никто не будет хранить данные с такими условиями, что ушёл оффлайн один раз и не получил бабки. Даже гугл падает, что говорить об обычных компьютерах.

А «купить» новый узел не проблема - данные он возьмет с узлов, к-е ты ему сообщишь.

Всё должно работать автоматически, пока я сижу в тюрьме, например.

третьим (доверенным для обеих сторон) узлам

FAIL, это уже не P2P со всеми вытекающими минусами (эти узлы будут тырить бабки и исчезать). Такое никому не интересно.

Всё зависит от типа данных. Если центральные сервисы начнут драть жопу за шифрованные данные (а они обязательно начнут), тогда народ и засуетится.

Не начнут.

Legioner ★★★★★
()
Ответ на: комментарий от Legioner

Сиди на ЦРУшных серверах, нытик.
С тобой каши не сваришь.

Novator ★★★★★
()
Ответ на: комментарий от esperantisto

Ну только так. Хотя с шифром ещё больше привлечения внимания выходит.

LongLiveUbuntu ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.