передача больших(~3-5Tb) файлов по сети

bittorrent

зависит от ситуации, из очевидного - либо порезать на чанки и попробросать по фтп, либо, как уже тут упомянули, п2п

не взлетит, там вроде ограничение до 1,2 тб при хешировании

*да и сама идея хешировать 5 тб бредова

порезать на чанки

Bittorrent этим и занимается, плюс проверка хеш сумм каждой части, плюс уже есть готовые библиотеки и не нужно городить велосипеды.

split-ом их перед этим, как вариант

В целом согласен. Но я говорил про общую идею: разбивка файла на множество мелких частей, подсчет хеш суммы каждой части, передача, проверка хеш суммы, склеивание обратно.

В торрентах чанки хэшируются независимо, это позволяет докачать только битый кусок.

ограничение до 1,2 тб при хешировании

ммм, это легко исправить. А в самом протоколе, на сколько я понимаю, проблем нет. По крайней мере не в торрент-файлах.

услашать советы в реализации передача

Дварковать влендишным способом.

аффтар просит аплоад с докачкой, значит FTP или Webdav, торренты не пойдут.

почему не подойдут? Торренты докачку из-коробки держат. Направление трафика (upload/download) роли не играет, аплоадер это сидер, даунлоадер это личер.

Кстати, да, libtorrent.

Правда, идея посчитать хэши для 5тб не находят отклика в моём сердце. Во всяком случае если это не скоростной сторадж.

*хотя бы потому, что эти 5 тб возможно будут генерировать «на лету» и писать на удаленный сервак, то есть изначально хешировать возможно и нечего.

например, какой-нибудь бредогенератор md5 радужных таблиц в GPU ферме.

Осталось понять что это делает в web-Development

чую где то подвох в организации архитектуры, ТЗ огласите плз

что это делает в web-Development

что за грязные намёки? :). В общем, проглядел, а щас как-то поздновато переносить...

передача больших(~3-5Tb) файлов по сети

Лет эдак через 10 эту тему откопают и таки будут долго ржать. Примерно так же, как над обсуждениями середины 90х о топовых компутерах. Так что, как вариант, одна из реализаций - подождать десяток лет.

Поройтесь по ЛОру где-то есть топик образца 2001 года, где человек пишет, что не может загрузить двухпроцессорный сервак на пентиум3, потому как для этой «супермашины» нет таких ресурсоемких задач.

а откуда куда надо передавать, с какой целью, в какой сети (интернет или ЛВС)?

думается мне что сеть много медленней стораджа в любом случае. так что вполне можно считать хеши в расслабленном режиме.. типа посчитал для десятка кусочков, сиди кури..

так что вполне можно считать хеши в расслабленном режиме..

это супер-вариант, но торрент-файл так не создашь. И вообще я бы через rsync+ssh синкал, надо только с параметрами поиграться чтобы каждый раз при обрыве связи все хэши не пересчитывал. По-моему, --partial --inplace --append решают проблему.

да, rsync + ssh для передачи будут наверное лучшим решением в если остаться рамках «не городить велосипед» и учесть что нужно лишь разбить файл через split скажем и наслаждаться результатом...

а зачем разбивать файл через split? К тому же это долго и потребует дополнительные 3-5TB под хранение.

Кстати, ssh умеет компрессию (помимо контроля целостности передаваемых данных), так что можно весьма ускорить передачу если данные хорошо сжимаются.

а зачем разбивать файл через split? К тому же это долго и потребует дополнительные 3-5TB под хранение.

я просто боюсь осилит ли rsync файл в 3-5 тб.. ман не читал, код не глядел.

HTTP/1.1+chunked

Контроль целостности на уровне tcp, есть возможность плевать чанки по мере чтения файла.

Что-то главный вопрос никто и не задает: что вы храните одним куском в файле 3-5Тб ?

Можно воспользоваться возможностью протокола HTTP/1.1 слать данные chunk-ами - при этом ограничений на длину HTTP-сообщения явно не накладывается. Инициирующий скачку данных узел шлет на сервер HTTP-сообщение, в котором указывает какую порцию данных он хочет получить (заголовок Range) либо без этого указания, если данные нужны полностью. Сервер в ответ отдает вышеуказанным методом требуемые данные.

Вероятно, необходимо будет предусмотреть управление передачей со стороны клиента (например, отправка запроса на прекращение передачи), посему обмен с сервером будет носить асинхронный характер.

Исходя из того, что свободных библиотек для асинхронного и потокового HTTP что-то особо не видно (можете меня поправить) и «всяк кулик свое болото ...», рекомендую взять это (storozhilov.com) - все необходимое там имеется.

Попробуй передавать их по радио. Первое что пришло в голову. Если очень важно именно по сети - попробуй передавать под видом трансляции. Как эфиры новостей всяких.

выраниваня последователностей геномов

P.S. Вариант со сжатием очень радует так-как там гора повторяющихся одинаковых байтов...

чанки сделать побольше и всё. время тут особо не подкрутишь

лень много писать. Подумай, что будет, если связь обрывается или прекращается. Если это непрерывно генерящийся поток, то тебе надо промежуточное хранилище (буфер) и скорость передачи по сети больше, чем скорость генерирования.

Лет эдак через 10 эту тему откопают и таки будут долго ржать.

Не-а. Темпы прогресса стремительно снижаются. Темы 2002-го года сегодня смеха не вызывают. А вот темы 1992-го в 2002-м — вызывали :)

Сегодня же даже на железе 2002-го ещё вполне жить и работать можно, хотя и не с полным комфортом.

Так что, в 2022-м, если не будет каких-то революций, то, скорее всего, нынешние темы будут восприниматься как сегодня темы, где-то, 2005-го.

снижаются

http://blog-imgs-35.fc2.com/r/e/a/realwave/Top500.jpg Графики в виде прямых вижу только я?

А какое отношение Топ-500 имеет к ЛОРу и, соответственно, вопросам десктопа/простого сервера?

Топ-500 зависит почти линейно от линейного же Мура.

Десктоп/мелкий сервер зависит от запросов и задач.

Считать, что разница в вышеупомянутом железе между 1992-м и 2002-м такая же, как между 2002-м и 2012-м может человек только крайне далёкий от темы или тролль :)

Что-то главный вопрос никто и не задает: что вы храните одним куском в файле 3-5Тб ?

Образы, бэкапы?

Бэкап одним куском в 3 Тб в наше время? Какой идиот такое придумал?

Я лишь предположил. Более того, ТС намекает, что данные непожаты.

Короче, big_buka, ждём более развёрнутого ТЗ, условий и причин.

Уже же сказал: биоинформатика.

Какое понятное и детальное ТЗ :3

В теме видел уже вопрос: «А что, сопсна, передаём», поэтому в Вашем посту отреагировал на «причин» :)