LINUX.ORG.RU

Контент в ipfs

 ,


1

4

Приветствую всех. Я тут решил понюхать ipfs, годно. Поюзал когда-то, но и всё. Щас что-то я проявляю энтузиазм к этой штуке. Поставил клиент гошный, завелось без проблем, вкусно. Я вижу в ней перспективу как замену http и торрента (и др фалообменные сети). Еще ей можно удобно передавать сертификаты retroshare. Выложил свой даже: QmScFSr9BpwDYNu5jt6tF4SicNYkh65mNgAvQyFPQTMg8y. Я считаю надо бы это соеденить это с retroshare и торрентом, типо чтобы файлы в ретре можно было из ipfs скачать (обратно тоже), будет очень удобно. Вот интересно, а где можно поискать разного контента, ну типо трекер что в торрентах? Вот если такое не найду, можно будет даже свой трекер создать. Какие перспективы вы в ipfs видите? ИМХО, ипфс будет годным способ хостить огромные репозитории дистрибутивов в 100500 гб, теперь не надо будет затрачивать силы на хостинг реп мелким некоммерческим проектам дистрибутивов, всё по частичке хостят юзеры
P.s. если что, есть гейт в ипфс: http://ipfs.io/ipfs/QmScFSr9BpwDYNu5jt6tF4SicNYkh65mNgAvQyFPQTMg8y
P.p.s в ней еще обоями нескучно делиться можно: QmWpFiqa3d6PdyA3sn1txjwJ1NTMSSvpds4nD2w2hwrFNc
Еще идея, всяким играм при запуске нужно подкачать контент (openttd например), а для подкачивания используется централизованный сервер, теперь для надежности на долгие сроки можно использовать будет ipfs в качетве игровых репозиториев

Какие перспективы вы в ipfs видите?

Меня переход на IPFS останавливает отсутствие mime-types в файлах. Из-за этого невозможно нормально размещать web-страницы на чистом ipfs. Приходится идти на извращения с JS. В результате — только серверно-независимая раздача картинок и файлов.

ИМХО, ипфс будет годным способ хостить огромные репозитории

Второе серьёзное ограничение — отсутствие возможности расшаривать собственные локальные файловые хранилища. Файлы можно только добавлять в ipfs-хранилище. Из-за чего получается дублирование. Только из-за этого не могу перейти сейчас на раздачу аттачей форумов через IPFS.

http://ipfs.io/ipfs/QmScFSr9BpwDYNu5jt6tF4SicNYkh65mNgAvQyFPQTMg8y

Лучше использовать http://gateway.ipfs.io/ipfs/QmScFSr9BpwDYNu5jt6tF4SicNYkh65mNgAvQyFPQTMg8y

KRoN73 ★★★★★ ()
Ответ на: комментарий от KRoN73

Второе серьёзное ограничение — отсутствие возможности расшаривать собственные локальные файловые хранилища.

Что-то я не понял о чём ты, ипфс в локалке работать может. Просто файл сразу становится публичным, приватность если, то openssl перед добавлением.

Лучше использовать http://gateway.ipfs.io/ipfs/QmScFSr9BpwDYNu5jt6tF4SicNYkh65mNgAvQyFPQTMg8y

Рузультат один и тот же, или есть отличия?

Reedych ★☆ ()
Последнее исправление: Reedych (всего исправлений: 1)
Ответ на: комментарий от Reedych

отсутствие возможности расшаривать собственные локальные файловые хранилища.
Что-то я не понял о чём ты, ипфс в локалке работать может.

У меня есть каталог файлов на 2Тб. Я не могу предоставить к ним доступ через IPFS в месте их хранения. Я могу их добавить в IPFS (итого на диске будет занято уже 4Тб — удалить оригиналы я не могу, так как они мне и локально тоже нужны).

Рузультат один и тот же, или есть отличия?

Владелец сервер ipfs.io так просит. Нагрузка идёт на разные сервера. ipfs.io — сервер проекта. gateway.ipfs.io — раздача контента.

Кстати, ещё есть ipfs.pics Но последнее время его сильно загрузили и он тормозит. Так что лучше всего — раздавать свои ссылки через свои сервера :)

KRoN73 ★★★★★ ()

Я считаю надо бы это соеденить это с retroshare и торрентом

Прежде всего, хорошо бы IPFS наладить взаимодействие с ZeroNet. Например, ЕМНИП в ZeroNet не советуют размещать крупные файлы и можно шарить их в IPFS. Кстати, ещё в MaidSafe есть возможность хостить P2P-сайты, я правда не пробовал.

Вот если такое не найду, можно будет даже свой трекер создать.

Ничего такого там нет, но и у IPFS пока юзеров маловато. Хотя надеюсь, что там появится что-то вроде Play в ZeroNet,

Пока я пользуюсь IPFS.pics и IPFSTube.

xdimquax ★★★ ()
Ответ на: комментарий от Reedych

симлинк?

На что? :) IPFS не использует файлы обычной ФС. И не предоставляет доступа к файлам в своём хранилище остальной ФС. Нет объектов, которые можно бы было «симлинкнуть» :)

KRoN73 ★★★★★ ()
Ответ на: комментарий от xdimquax

Прежде всего, хорошо бы IPFS наладить взаимодействие с ZeroNet.

Они ортогональны. Ни что не мешает использовать в сообщениях ZeroNet ссылки на IPFS, как ничто не мешает использовать эти ссылки, скажем, на ЛОР’е.

у IPFS пока юзеров маловато

Для её сути это не принципиально. Я бы ею пользовался даже если б там было только несколько моих машин :) Её главный бонус — в отвязке ссылок на файлы от физической структуры сети и конкретных серверов. То, что можно разгрузить сервера — это побочный эффект, которым, кстати, сейчас почти и не пользуются. Все сидят через конкретные гейты.

KRoN73 ★★★★★ ()

ЯННП.

Эта такая Perfect Dark с кэшем и шифрованием или большая база файлов с распределенным хранилищем у всех участников?

Radjah ★★★★★ ()
Ответ на: комментарий от xdimquax

Пока я пользуюсь … IPFSTube.

Интересно, не видел. Только почему-то у меня нифига не работает :-/ Даже их демка. Просто ничего не происходит в плеере.

KRoN73 ★★★★★ ()
Ответ на: комментарий от Radjah

Эта такая … или

Это протокол быстрого и неанонимного (потому и быстрого) p2p-доступа к неразмазанным по сети (и потому тоже быстро) файлам.

Фактически вводится адресация по хешам, зависящим только от контента файла и обеспечивается p2p-роутинг до места хранения файла с возможностью кеширования контента для последующего ускоренного доступа и с возможностью фиксации у себя чужого хеша.

По-моему, это самый быстрый на сегодня вариант p2p, пригодны из-за этого для работы прямо в браузерах. Те же картинки ставить.

Пример картинки (можешь оценить скорость) через один из гейтов:

http://gateway.ipfs.io/ipfs/QmTUeRKutKfbTRmoXsgRTv4r9zKJyFVrX3NVLQctRmoa1v

Или, вот более практичное использование:

https://gateway.ipfs.io/ipfs/QmUTLXPpCWAiayoKsvjwSAVFdZrnuJnaiLLueYAQg7SiY4

KRoN73 ★★★★★ ()
Ответ на: комментарий от KRoN73

в отвязке ссылок на файлы от физической структуры сети и конкретных серверов.

Когда юзеров мало, то выходит привязка к серверам конкретных юзеров, т.е. тех единиц, кто шарит эти файлы. В итоге, надёжность хранения данных получается так себе.

xdimquax ★★★ ()
Ответ на: комментарий от xdimquax

В итоге, надёжность хранения данных получается так себе.

Система больше ориентирована не на хранение ненужного тебе хлама, как в FreeNet и аналогах, когда ты не знаешь что хранишь и нет никаких гарантий сохранности выложенного тобой, а на гарантированную поддержку актуальных данных всеми заинтересованными при сохранении адресации после замены хранителей или серверов.

Т.е., грубо, гипотетическая коллекция файлов аттачей ЛОРа может быть жива независимо от существования ЛОРа пока будет хоть один желающий заниматься этим. И поддержка им раздачи файлов не зависит от обратной связи с ЛОРом.

KRoN73 ★★★★★ ()
Ответ на: комментарий от KRoN73

нифига не работает :-/ Даже их демка. Просто ничего не происходит в плеере.

Разобрался — оно у них лазает по каким-то странным серверам, до которых долго распространяется контент.

Поднял у себя, прописав свой и gateway.ipfs — заработало.

Отличное решение для раздачи видео, давно такое искал. Только жаль, по-прежнему, что IPFS не умеет раздавать файлы из файловой системы. Домашнюю видеотеку так не раздашь :) А вот всякие ролики, спасённые от удаления на YouTube — самое то. Или на форумах аттачи видео разрешить.

KRoN73 ★★★★★ ()
Ответ на: комментарий от KRoN73

Да, но ТС говорил о замене торрент-трекеров, а тут заинтересованных пока мало. ИМХО, т.к. общее число юзеров IPFS пока невелико — в ZeroNet у сайта Play >3 тыс. сидов.

xdimquax ★★★ ()
Ответ на: комментарий от xdimquax

но ТС говорил о замене торрент-трекеров

Для раздачи самих .torrent — годится. Хотя не вижу тут преимуществ перед магнет-ссылками. Как замена торрент-обмена фильмами на ipfs-обмен — нет. Из-за, как я уже говорил, невозможности расшаривать файлы. Придётся держать один экземпляр фильма на диске в обычном виде для просмотра, второй — в хранилище IPFS. И 2Тб превратятся в 4Тб.

т.к. общее число юзеров IPFS пока невелико — в ZeroNet у сайта Play >3 тыс. сидов.

Нельзя IPFS с ZeroNet сравнивать. У них очень разные цели и особенности. Это, с некоторой гиперболой, всё равно что сравнивать FTP и linux.org.ru :)

KRoN73 ★★★★★ ()
Ответ на: комментарий от xdimquax

Вот только GUI никакой

Как раз, хорошо, что очень просто решение. Можно встраивать прямо в постинги форумов.

KRoN73 ★★★★★ ()
Ответ на: комментарий от KRoN73

Хотя не вижу тут преимуществ перед магнет-ссылками.

Чтобы по магнитной ссылке скачать, необходимо её где то получить. А как это сделать, если Рутрекер, предположим, по каким-либо причинам недоступен? Зайти на p2p-сайт с магнетами, потому что он гарантировано онлайн. Например, через ZeroNet: https://proxy.zeroexpose.com/1MoAyNQAaTbMFmTCTMiRz7uHV9KzeEZL8W/ Такое «зеркало», наверное, можно сделать и в IPFS.

По-моему, это самый быстрый на сегодня вариант p2p, пригодны из-за этого для работы прямо в браузерах.

Веб-торрент тоже достаточно быстр: https://webtorrent.io/ :-)

xdimquax ★★★ ()
Последнее исправление: xdimquax (всего исправлений: 1)
Ответ на: комментарий от xdimquax

Чтобы по магнитной ссылке скачать, необходимо её где то получить. А как это сделать

Чтобы по IPFS что-то скачать, нужно получить IPFS-хеш. А как это сделать? :) Говорю же — это идентичные способы. А вот по ZeroNet можно кинуть ссылку или magnet, или ipfs на большой файл, который в ZeroNet не помещается.

Веб-торрент тоже достаточно быстр

И всё равно на порядки медленнее. Нет, смотреть фильм — запросто. Но скорость получения всякой мелочи на IPFS сравним с HTTP, а вот webtorrent по латентности — это что-то из конца 1990-х годов и модемов :) После установления соединения качает шустро, но до того — задержка недопустимой величины.

KRoN73 ★★★★★ ()
Ответ на: комментарий от xdimquax

Веб-торрент тоже достаточно быстр: https://webtorrent.io/ :-)

Тьфу, спутал его с Maelstrom. Что выше писал — про последний.

А WebTorrent с IPFS вообще нельзя сравнивать — очень разные задачи. И, да, латентность тоже отвратительная.

KRoN73 ★★★★★ ()
Ответ на: комментарий от KRoN73

Т.е. один файл расшарил, второй открыл, и в сети уже две копии файла? Или я опять не понял сути?

Radjah ★★★★★ ()
Ответ на: комментарий от Radjah

Т.е. один файл расшарил, второй открыл, и в сети уже две копии файла? Или я опять не понял сути?

IPFS для системы — чёрный ящик. Т.е.:
— ты делаешь для файла ipfs add
— ipfs сохраняет файл в своём хранилище
— ipfs считает его хеш и возвращает тебе

Потом ты можешь удалить оригинальный файл, тогда он останется только в ipfs. Но ты не сможешь им воспользоваться, пока не скачаешь его по ipfs get, пусть даже скачивание это — локальное. Файл внутри ipfs хранится не в виде файла, а в базе данных (leveldb? — не знаю точно).

Соответственно, если тебе нужен файл И в ipfs, И для локального использования, он у тебя будет занимать место дважды — как обычно в файловой системе и будет ещё лежать в хранилище ipfs.

KRoN73 ★★★★★ ()
Ответ на: комментарий от KRoN73

Чтобы по IPFS что-то скачать, нужно получить IPFS-хеш. А как это сделать? :) Говорю же — это идентичные способы.

Я не имел ввиду, что Bittorrent надо заменить на IPFS для файлообмена. Но магнеты можно размещать на IPFS-сайтах, как это практикуется в ZeroNet. Потому что Bittorrent то децентрализованный, а привычный веб — нет.

xdimquax ★★★ ()
Ответ на: комментарий от xdimquax

У торрентов нет Merkle DAG, из-за чего у разных раздач совершенно разные блоки.
В IPFS можно выложить папку, и если кто-то ещё выложил такие же файлы, раздаваться они будут и с тебя, и с него.

quantum-troll ★★★★★ ()
Ответ на: комментарий от xdimquax

Но магнеты можно размещать на IPFS-сайтах

IPFS сегодня не подходит для создания сайтов. Потому с ZeroNet и нельзя сравнивать.

KRoN73 ★★★★★ ()
Ответ на: комментарий от quantum-troll

В IPFS можно выложить папку, и если кто-то ещё выложил такие же файлы, раздаваться они будут и с тебя, и с него.

Да, это очень большой бонус. Как и «подключение к раздаче» выглядит очень удобным — простым ipfs pin add.

KRoN73 ★★★★★ ()

Интересный проект, который позиционируется неправильно. Это не «файловая система», это навигация по файлам и DHT. Может выйти замена торрентам, если его допилят. Пока с передачей файлов очень плохо. И без явного ipfs pin add другими пользователями твой контент будет жив только пока ты его у себя держишь. Нужны приложения поверх сети, которые бы это делали. Сейчас его использует http://alexandria.io и разрабатываемая http://akasha.world/. Планы есть у openbazaar.

Но гейтов почти нет, хоть сколь-нибудь публичных каталогов, где можно было бы отслеживать и прикреплять интересующие файлы, тоже. Работоспособность неудовлетворительная.

anonymous ()

ИМХО, ипфс будет годным способ хостить огромные репозитории дистрибутивов в 100500 гб, теперь не надо будет затрачивать силы на хостинг реп мелким некоммерческим проектам дистрибутивов, всё по частичке хостят юзеры

Есть куда более интересная тема: использовать как binary cache для NixOS/GuixSD. Тогда вообще никаких репозиториев, как таковых. Просто непосредственно все файлы из кеша IPFS. Но это если оно будет работать когда-нибудь, когда его перепишут на расте или плюсах.

anonymous ()
Ответ на: комментарий от KRoN73

Нельзя IPFS с ZeroNet сравнивать. У них очень разные цели и особенности. Это, с некоторой гиперболой, всё равно что сравнивать FTP и linux.org.ru :)

Можно. IPNS вполне позволит хостить динамический блог, но правда только однопользовательский. Но существенные различия всё-таки между ними, но не в плане, для чего использовать. В нынешнем зеронете можно распространять (большие) файлы, но это довольно упорото получается. Зеронет больше похож на торренты с обновлениями и распределенным доступом, кастрированный под конкретное применение. IPFS более общего назначения, Но сам по себе неюзабельный, скорее подходит для использования в приложениях. По своему он тоже кастрированный.

anonymous ()
Ответ на: комментарий от KRoN73

Там можно смонтировать хранилише как ФС, но доступ только на чтение.

anonymous ()
Ответ на: комментарий от anonymous

Можно.

Я же писал выше — без извращений :) Но главное извращение тут даже не в адресации — можно и статические странички раздавать. Главное извращение, что нельзя использовать CSS из IPFS. Или лепить стили прямо в код страницы, как сделано в примере выше, или грузить CSS через JavaScript. И то, и другое — непреодолимое препятствие для перехода массового Web'а в IPFS. А html из 1990-х годов сегодня не интересен :)

KRoN73 ★★★★★ ()
Ответ на: комментарий от anonymous

Там можно смонтировать хранилише как ФС

Один фиг, имена теряются.

KRoN73 ★★★★★ ()
Ответ на: комментарий от xdimquax

https://ipfs.io/ipfs/QmWtXcLh71KVR1ntq9noCBpZ8BTuSAeYtbXsQdX7VrrNBe/

См. мой ответ через одно сообщение выше. Я про это с самого начала писал. Отсутствие mime не позволяет использовать в ipfs-файлах .css

Вот если б были mime, можно бы было круто хранить странички сразу в .mhtml — одна страница = один файл. Но и .css, и .mhtml отдаются из ipfs как plain/text.

KRoN73 ★★★★★ ()
Ответ на: комментарий от KRoN73

что нельзя использовать CSS из IPFS

4.2

http://127.0.0.1:8080/ipfs/QmdPtC3T7Kcu9iJg6hYzLBWR5XCDcYMY7HV685E3kH3EcS/css...

Пример что давал выше. Когда добавляешь каталог рекурсивно, в пределе этого каталога имена сохраняются.

ZN тоже не обошелся без извращений. Он всё засовывает во фрейм со своими ненужными скриптами.

anonymous ()
Ответ на: комментарий от anonymous

Когда добавляешь каталог рекурсивно, в пределе этого каталога имена сохраняются.

Это сохраняются не имена добавляемых файлов, а сохраняется каталог со сслыками на хеши файлов. Соответственно, нельзя добавлять файлы к уже имеющимся каталогам. Для практического применения при раздаче тех же фильмов в результате непригодно.

KRoN73 ★★★★★ ()
Ответ на: комментарий от KRoN73

Находил пример, там файл CSS лежал в корне сайта и через IPFS не подгружался. Возможно, поэтому.

xdimquax ★★★ ()
Ответ на: комментарий от xdimquax

В том-то и дело, что CSS-файл успешно грузился. Но браузер ругался, что не може plain/text использовать как CSS. Поэтому я извращался — после загрузки страницы на jquery проходил по стилям и добавлял их скриптом. Тогда работало.

А вот JS работал, хоть отображался тем же plain/text mime.

Может, в WebKit поменяли поведение с тех пор, разрешив использовать plain/text.

...

Но всё равно mime нормальных в IPFS сильно не хватает. Те же .mhtml на таких соединениях намного выгоднее и по хранению, и по загрузке.

У меня задача стоит — когда на сайте ссылку на страницу какую-то дают, сохранить эту страницу в какой-нибудь кеш-архив. Чтобы когда через год-пять-десять её удалят, можно было в архиве спокойно читать. Вот тут .mhtml в ipfs подходит идеально. Но, увы. Хотя уже хлеб, что css заработали и можно хоть «россыпью» сохранить. Хотя обмениваться неудобно для пинов будет, недостаточно будет передать один хеш, придётся для запинивания передавать все хеши.

Хотя интересно, как с деревьями сделано, надо проверить. Может там запинивание каталога запинивает и файлы в нём?

KRoN73 ★★★★★ ()
Ответ на: комментарий от SmaL

спс, как раз в поисках чего почитать)

Только это вторая часть. И она явно хуже первой :D

KRoN73 ★★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.