Нужны советы по организации раздач большого количества торрентов (объем до 40Тб)

Проверь Кторрент, наверное всю память отожрет.

Torrent без централизованных трекеров не работает.

Magnet же.

RetroShare

Ты бы блин ещё ed2k вспомнил.

Да никто не будет делать 40 Тб бэкапов. В случае фейла утраченные данные перекачаются, это же торренты. А сколько оно будет перекачиваться - неделю, месяц, - это совсем не критично.

Не, ktorrent практически не развивается, а его реализации торрент-протокола и так много проблем. Я давно ушёл на qBittorrent и стало всё намного лучше качаться, раздаваться, и меньше есть памяти. Но сомневаюсь, что qBittorrent даже в headless (да, он научился работать без GUI) сможет вытянуть пару тысяч торрентов.

Та я сейчас в месяц набираю по 10-15 Тб, уже почти год, и всё ок.

А сколько оно будет перекачиваться - неделю, месяц, - это совсем не критично.

Ну так тогда тем более не критична скорость - если уж совсем наплевать на собственное время, которое придется потратить на восстановление сервиса в случае развала дисковой системы, то лучше уж объединение дисков средствами LVM - по крайней мере, перекачивать придется 10 TB вместо 40...

хде тег Деццкое порно?

А ты серьёзно собираешься отдать 40 ТБ только под торренты, которые даже не будешь открывать?

Хочу помочь трекерам в сидировании раздач с малым количеством сидов

Плохая тенденция, что сидов мало, но хорошая, что появляются хранители! Хотелось бы, чтобы в «архивы» попадали только раздачи, для которых появилась замена получше, а не потому что в данный момент не очень интересно, а когда, вдруг, понадобится, то уже не скачать. И из целей безопасности пользователей даже «не позвать скачавших».

Данные всё равно не уникальные, в случае фейла можно и перекачать.

Но на действительно редких раздачах не исключено, что останешься единственным сидом. Такие раздачи лучше всё же забэкапить.

Насчёт клиента - transmission.

AMD Phenom II X4, разогнанный до 4.0GHz

Не думаю, что надо разгонять.

8Gb RAM (планирую докупить до 32Gb)

Можно подумать о ECC. Благо AMD не жмётся на этот счёт в своих процах.

1 Gbit/s интернет

Т.е. 100 МБ/с максимум. Как раз средняя скорость последовательного чтения одного диска на 5400..5900 оборотов, и это на проце 12+ летней давности. Учитывая что типовый размер куска в торрентах 4 МБ, надо попробовать какой-нибудь I/O-тест, чтобы прикинуть, сколько потоков (т.е. торрентов) одновременно потянут диски в разных режимах (по отдельности, LVM,..). Уверен, бутылочным горлышком будет не проц.

Или рискнуть в софтовый RAID0?

Самому интересно, как получить RAID-эффект, не используя ни его, ни игрушку btrfs, ни энтерпрайзную ZFS, а что-нибудь простое и надёжное.

Тут советуют делать RAID, но для торрентов это смысла не имеет. Рейд для скорости без толку, ибо считывание идёт не подряд, а редких фрагментов.

иксперты в треде, все по норам.

Прикупил себе винтов суммарно на 40 Тб (4x10Тб). Хочу помочь трекерам в сидировании раздач с малым количеством сидов, ну и свой любимый контент (где-то 7 Тб оного) 24/7 на старом ПК.

а помочь почему торрентам, а не архив дебианов, убунтов и прочих опенбсдеев за последние 50 лет? вы сайтом не ошиблись? :)

Плохая тенденция, что сидов мало, но хорошая, что появляются хранители!

Только вот модераторы увидев более хорошую по их мнению раздачу твою могут просто удалить, ну и поддерживай после этого свой многотысячный список актуальным.

Мне кажется чтотдля таких слкэучаев надо использовать что-то другое, а не торрент.

Там и так всё хорошо.

Там и так всё хорошо.

на ftp://ftp.belnet.be, где я всю жизнь брал архивы всех версий openbsd, начиная с 2.1, порезали архивы вплоть до 5.0 :( лишних 1.5 тб места не нашлось :( какое же это хорошо

Ну и смысл держатььу себя торрент без страницы на трекере?

Ну а если упавать на поиск по dht то даже такое старьё как perfekt dark и то будет лучше.

В случае фейла утраченные данные перекачаются, это же торренты

Наивный юноша. На рутрекере когда-то была библиотека Траума в трех форматах - fb2/epub/mobi, но потом раздачу тихо грохнули и остался только fb2. Можно подумать другие форматы кому-то мешали. Вот я успел скачать, у меня есть. А у остальных теперь нет. И не будет ни через неделю, ни через месяц. Все. И таких примеров вагоны. А закрывают не только раздачи, но и целые трекеры с уникальным контентом, который больше просто нигде не найти. Например Вата и Хдклуб.

Тут нечего ответить, кроме «лол». Видимо, ты не пробовал следовать своей же рекомендации

Как раз пробовал. Там, где deluge сдох уже давно (ещё на 2000 торрентах с копейками), qbit стал тупить чуть позже, нормально rtorrent даже не поперхнулся. У меня, конечно, не 40 TB, но десяточек тысяч торрентов найдётся.

«лол» то твой на чём основан? Хочешь показать мне скрин нормально работающей (не полчаса) делюги хотя бы с 7к торрентов? Или qBittorrent хотя бы с 10k? Ну трансмиссия ещё тянет, да, наравне с рторрентом, но она слишком уж куцая по фичам.

Я волнуюсь только за сохранность своего ценного контента. А остальные 30 Тб я буду лишь сидировать, помогая трекеру, пусть там уже сами юзеры бдят. Удалят раздачи на трекере - скачаю новые на освободившееся место.

Не ошибся. Я сюда пришёл за техническими советами, а не идеологическими.

Нужны будут хранители на трекере для iso - буду раздавать iso. Если хотите - сотрудничайте с трекерами и выкладывайте архивы там через торренты.

Пока только 30Тб. В будущем посмотрю, если будут лишние деньги, то соберу ещё один бокс-торренткачалку или куплю более вместительные винты.

И нет, мне не жалко, я давно уже это задумал, и вот мне выдали отпускные, за которые я реализую свои хотелки.

разве есть прямая связь объема файлов раздаваемых торрентом и нагрузки на систему?

Ну чем больше размер торрента, чем обычно больше размер чанков, а при раздаче кому-либо каждый чанк маппится в ОЗУ, соответственно, чем большее количество личеров у тебя качает в один момент времени больших торрентов, тем больше ОЗУ потребляется.

Например, один торрент с размерами чанков по 512 Кб качает 10 человек, это примерно 5 Мб нужно держать в оперативе.

А другой торрент с размерами чанков по 4 Мб качает 3 человека, это уже 12 Мб в оперативе минимум.

Но зависит от реализации, конечно. Может, некоторые торрент-клиенты не загружают в оперативу кусок, а маппят прямо файл и читают небольшими кусками. С одной стороны, это бережет оперативу, с другой стороны внутренний буфер приложения может быть узким местом.

У меня пока нет времени читать их код и разбираться, как оно там внутри работает. Вот и спрашиваю.

а как конкретней размер чанка зависит?

Чем меньше кусок чанка, тем больший получается файлик *.torrent. А у ряда трекеров ограничение на размер torrent-файлов, например, 512 Кб. И чтобы в 512 Кб вложиться при раздаче огромного BDRemux или игры вроде GTAV, то приходится делить торрент на меньшее количество чанков с большим размером каждого чанка. Как-то так.

я про другое
например, файл 100мб
это будет или торрент файл 10кб с чанками по 1024кб или 100кб торрент с чанками в 10 раз меньше? так?
а если файл вдвое меньше, то или размер чанков или размер торрент файла можно будет уменьшить вдвое?

Советовать сжатие не зная содержимого - бесполезно.

Да, примерно так.z

И не будет ни через неделю, ни через месяц. Все.

Устарела. Не нужна никому. Флибуста уже в 5-6 раз толще.

Если действительно нужный контент, который ты будешь периодически открывать, будет храниться только на этих винтах, то можно сделать RAID 5. Вообще, логично было бы объединить файлопомойку и торрентокачалку на одном компьютере. Я никогда подобными вещами (настройкой торрентокачалки с несколькими дисками на 40 ТБ) на практике не занимался, но мне кажется, что для таких задач подойдёт ZFS (соответственно, RAID организовать её средствами).

 мне не жалко

Ты крут. А аниме будешь раздавать?

Молись, постись и будет тебе счастье.

Слушать радио «Радонеж» еще.

Как-то упражнялся с Transmission на VPS, до поры до времени работал нормально, но с какого-то момента начинал при запуске съедать всю доступную память, пока его не грохал OOM-killer. Торрентов было совсем немного, другие клиенты (rtorrent, deluge) работали нормально.

https://github.com/transmission/transmission/issues/313 ?

Это единственная упорядоченная библиотека без дублей и мусора.

Tixati

Насчёт RAID* я не согласен. Тут уже верно заметили, что торренты это самая устойчивая к повреждениям данных вещь, а вручную перебалансировать мусор между разделами элементарно.

Кстати наверняка можно задействовать 4 копии торрент клиентов, возможно под 4-я пользователями. Процессор на машине наверняка уже не одно- и не двухпоточный, будет выигрыш и в дисках и в cpu.

У меня 44 штуки объёмом 0,27 Тиб. Т.е. на 40 Тб = 37 Тиб получаем 6030 штук.

Не знаю как ktorrent5, но ktorrent4 вестма скромный. У меня он крутится в 40-80М оперы (предположительно +30М от пустого клиента). Если масштабировать линейно то будет весьма печально, но это наверняка любого клиента касается.

Можно подумать о ECC. Благо AMD не жмётся на этот счёт в своих процах.

кажеться тут ктото в лужу пёрнул

А закрывают не только раздачи, но и целые трекеры с уникальным контентом, который больше просто нигде не найти. Например Вата и Хдклуб.

Кстати, надо хдклуб хотя бы в архивном режиме поднимать, пока ещё не все раздачи поудаляли.

А может и не позвонит, просто сдаст с потрохами.

Интересно, кого-нибудь уже преследовали за раздачу анимы?

удваиваю, только размер ARC обязательно нужно подстроить под нужды, а то не разобравшись потом пишут что ваш zfs гавно, всю оперативку забивает.

смысл натягивать на торренты рейд массивы ??
тем более для поддержки для попутных/неважных раздач ??

сам торрент создает сетевой «раид-массив» из личей данной раздачи, суммируя и надежность и скорость каждого лича.

Fedora Server + KTorrent

Тёплые вещи, сухари, тушёнку и сгущёнку уже советовали?

Как будто вне РФ стоит.

смысл натягивать на торренты рейд массивы ??

тем более для поддержки для попутных/неважных раздач ??

смысл не читать комментарий, на который отвечаешь ??

Насчёт рейда тут стоит подумать. Если просто сделать lv на все диски, то нагрузка на них будет неравномерная. Диски с непопулярными торрентами и пустым местом будут простаивать, а другие будут трещать головами как бешеные. Raid0 сгладит эту ситуацию, но в него неудобно добавлять и извлекать диски.

С другой стороны если иопсов будет хватать с избытком, то какие-то диски с холодным контентом можно и останавливать, но тогда никакого рейда и ручная/автоматическая сортировка торрентов по популярности.

Не беспокойся за меня, лучше помоги техническим советом.

Скинься чутка денег всем операторам, через кого это всё литься будет.