LINUX.ORG.RU

Нужны советы по организации раздач большого количества торрентов (объем до 40Тб)

 , ,


1

4

Прикупил себе винтов суммарно на 40 Тб (4x10Тб). Хочу помочь трекерам в сидировании раздач с малым количеством сидов, ну и свой любимый контент (где-то 7 Тб оного) 24/7 на старом ПК.

Что посоветуете по настройке ОС и торрент-клиента?

Какой торрент-клиент выбрать? В перспективе могущего одновременно раздавать тысячу и более торрентов, а не держащего активными только десяток-второй, когда остальные тупо ждут в очереди и даже не анонсируются.

Планирую линейно объединить пространство с помощью LVM. Или рискнуть в софтовый RAID0? Данные всё равно не уникальные, в случае фейла можно и перекачать.

Система стоит на отдельном небольшом SSD.

В наличии:

AMD Phenom II X4, разогнанный до 4.0GHz
8Gb RAM (планирую докупить до 32Gb)
HDD 40 Тб (4x10Тб).
1 Gbit/s интернет

Ответ на: комментарий от Harald

В топике написано, 1 Гбит/с, это максимум, что можно подключить домой. Сейчас он стабильно нагружен на 200-300 Мбит/с tor-релеем и qbittorrent'ом на десктопе, но хочу торренты вынести на отдельный ПК, а в будущем - и tor-релей.

MyLittleGentoo
() автор топика
Ответ на: комментарий от Harald

Какой бы канал у него не был, а реально качать будут только первые от трёх до десяти пиров, остальным будет крохотульный поток.

torvn77 ★★★★★
()

Какой торрент-клиент выбрать? В перспективе могущего одновременно раздавать тысячу и более торрентов, а не держащего активными только десяток-второй, когда остальные тупо ждут в очереди и даже не анонсируются.

Тебе нужен аппаратный райд, как я понимаю с любым софтварным в конкретный момент времени у тебя будет обращение только к одному диску.

torvn77 ★★★★★
()
Ответ на: комментарий от torvn77

Нет. Это отдельный вопрос, тут нужен состав преступления, доказать злой умысел, иск от правообладателя, и т.д., много нюансов и правовых коллизий.

Давай предположим, что у меня свободно распространяемый контент под Public Domain или свободными лицензиями :)

MyLittleGentoo
() автор топика

rtorrent с веб-интерфейсом?

StReLoK ☆☆
()
Ответ на: комментарий от MyLittleGentoo

Сейчас раздач меньше, но я выделяю кеш записи из оперативной памяти, поэтому держу 2 Гб (на 1 Гб глючит). Главное что сам клиент хорошо держит и трафик и количество торрентов.

Lordwind ★★★★★
()

FreeBSD + ZFS pool c recordsize=1m и compression=(на свой вкус)

ARC хранит рекорды в сжатом виде, так что при 32г оперативы и хорошо сжимаемом контенте у тебя будет дофига кэша в оперативке.

Можно вместо фряхи поставить OmniOSce, но я не уверен что там включена эта фича ARC.

Minona ★★☆
()
Ответ на: комментарий от Radjah

Я долго сидел на rtorrent, но со временем достала очень высокая дисковая активность, при чём дисковый трафик умудрялся быть выше сетевого. Однажды надоело, стал искать альтернативы и тоже остановился на transmission. Просто работает, не видно и не слышно :) Но у меня раздач не много, около 800 штук на пару терабайт.

KRoN73 ★★★★★
()

Обычно рекомендуют rtorrent.
Хотя я держал под тысячу на transmission-daemon и не напрягался.

devl547 ★★★★★
()
Ответ на: комментарий от sudopacman

Обычно с торрентов скачивают мультимедийный контент, который бесполезно сжимать.

Мой опыт показывает что профит есть.

torvn77 ★★★★★
()

Буду оригинален: ktorrent. Не представляю как он поведёт себя при более 100 раздач, у меня столько нет. Но там есть очень гибкая настройка расписания, скоростей и числа сетевых подключений. Из минусов: режим ограничения скорости на 44 торрентах потребляет до 30% cpu на RPi3 (arm7l, 600 Mhz)

Из плюсов: даже в непростых условиях (3g интернет, активный трафик ~200 Киб/сек на топовых раздачах, одновременная загрузка) он умудряется переодически выделить пару подключений на какой нибудь редкой раздаче. Придерживаюсь политики 2-10 сетевых подключений на раздачу, не более 20-30 всего.

kirill_rrr ★★★★★
()
Последнее исправление: kirill_rrr (всего исправлений: 1)
Ответ на: комментарий от sudopacman

ТС: «Давай предположим, что у меня свободно распространяемый контент под Public Domain или свободными лицензиями »

Много есть мультимедиа такого?

на свой вкус может быть равен off. И, например lz4 практически не оказывает влияния на скорость чтения/записи видосиков, а всякие исошки хорошо таки жмёт.

Minona ★★☆
()
Ответ на: комментарий от Minona

Много есть мультимедиа такого?

Давайте по умолчанию будем считать, что у человека полная коллекция iso-образов дистрибутивов свободного ПО, распостраняемых через торренты.

kirill_rrr ★★★★★
()
Ответ на: комментарий от Minona

И, например lz4

В компресии меньше 6 нет смысла так как не полностью дожимает, больше 6 нет смысла так как прирост компрессии будет очень не большой.

ТС предупреждён, по этому предлагаю закрыть эту ветвь дискуссии.

torvn77 ★★★★★
()
Последнее исправление: torvn77 (всего исправлений: 1)
Ответ на: комментарий от torvn77

ЕМНИП, уровень компрессии у zfs регулируется у алгоритма gzip, а lz4 это не уровень, это название алгоритма.

ТС предупреждён, по этому предлагаю закрыть эту ветвь дискуссии.

Мультимедиа или компрессия?

Minona ★★☆
()

Чем плох transmission?

Тут советуют делать RAID, но для торрентов это смысла не имеет. Рейд для скорости без толку, ибо считывание идёт не подряд, а редких фрагментов. Рейд для надёжности, тоже смысла нет, сам торрент является резервной копией.

Если нужна помощь с настройкой, спрашивай советы.

PeKar
()
Ответ на: комментарий от Minona

Уровень компрессии у zfs регулируется у алгоритма gzip

К стати другие алгоритмы у меня года четыре назад либо плохо жали либо ещё и подглючивали.

torvn77 ★★★★★
()

transmission-daemon

Был опыт с 3к торрентов. Правда активных редко бывало больше сотни. Удобная веб морда и управление.
Вертелось всё на домашнем сервере и никогда не испытывал каких-либо проблем.

paran0id ★★★★★
()
Ответ на: комментарий от MyLittleGentoo

тут нужен состав преступления, доказать злой умысел, иск от правообладателя
иск от правообладателя

Вы не написали, в каком вы государстве находитесь, но если это вы пальцем в небо, то совершенно не факт, ибо во многих эта статья — публичного обвинения.

Плюс, в некоторых странах за это обожают преследовать во внесудебном порядке.

(Не в коем случае не надо это понимать, как попытку вас отговорить.)

Zmicier ★★★★★
()
Последнее исправление: Zmicier (всего исправлений: 1)
Ответ на: комментарий от KillTheCat

Если живешь в РФ, то не стоит.

Почему? Мне казалось, что напротив, это как раз весьма благоприятствующее место.

Zmicier ★★★★★
()
Последнее исправление: Zmicier (всего исправлений: 1)

На 40 ТБ, я полагаю, торрентов будет очень много. Исходя из этого, я бы предложил несколько виртуальных машин, чтобы каждая сидировала не более 2 500 - 5 000 торрентов. Не знаю, какой торрент клиент вы выберете, но я столкнулся с тем, что deluge очень плохо работает с большим количеством торрентов, при чем процессор практически не загружен, в память тоже не упирается. Читал на форумах, что у всех клиентов есть такая проблема. Просто повисают, и все.

ravdinve
()
Последнее исправление: ravdinve (всего исправлений: 1)

Боюсь что после первых 1500гигабайт к тебе позвонит провайдер и поинтересуется твоей активностью.
А может и не позвонит, просто сдаст с потрохами.

Deleted
()
Ответ на: комментарий от Deleted

Даже предположить, что у провика идет оптика на 5Гбит к хабу, то он явно не обрадуется такому жирному клиенту, который отрежет стабильно у него 1гбит.

Вангую СБ провика первая подсядет на мониторинг твоего трафика, а там как байты лягут.

Deleted
()
Последнее исправление: RTP (всего исправлений: 1)

сидировании раздач с малым количеством сидов

Вот тут задача интересная, и я не знаю решение. ИМХО, проблема в том, что даже на очень редких раздачах 40 Тб выжрут любой канал

Тут спасло бы тесное взаимодействие с трекером вида

  • >= X других сидов? гасим раздачу на недельку
  • ты единственный сид, и качают >= Y пиров? выставляем на разачу superseed ( один экстент позволяем скачать только один раз в сутки. Дальше пусть сами обмениваются )
  • общее число коннектов >= Z ? опять же по возможности включаем superseed на раздачах, где активных пиров несколько

и т.д. Но готового решения не видел. И даже каких-либо движений со стороны трекеров и ПО.

router ★★★★★
()
Ответ на: комментарий от Deleted

Боюсь что после первых 1500гигабайт к тебе позвонит провайдер

Пфф, такая мелочь их не заинтересует. Часто бывало за Тб в месяц, пока жив

router ★★★★★
()
Ответ на: комментарий от router

ну не знаю, я так, с потолка цифру написал. он же собрался по 1ТБ в сутки раздавать.

Deleted
()
Последнее исправление: RTP (всего исправлений: 1)

Для большого количества торрентов (а 40 ТБ это как правило пара десятков тысяч торрентов) выбор клиента однозначен — rtorrent.

По настройкам в сети полно гайдов.

anonymous
()
Ответ на: комментарий от Deleted

Боюсь что после первых 1500гигабайт к тебе позвонит провайдер и поинтересуется твоей активностью. А может и не позвонит, просто сдаст с потрохами.

Маловероятно. У меня +/- терабайт в месяц выходит, никому не интересно.

ravdinve
()
Ответ на: комментарий от ravdinve

Внезапно не такая уж и плохая идея, если заменить виртуалки контейнерами. В каждом контейнере ограничить io, cpu, сеть, а в клиенте ограничить количество соединений. Контейнеры назвать по раздаваемому контенту.

anonymous_sama ★★★★★
()
Ответ на: комментарий от ravdinve

несколько виртуальных машин, чтобы каждая сидировала не более 2 500 - 5 000 торрентов

А почему это лучше? Мне правда интересно.

ozz_is_here
()
Ответ на: комментарий от anonymous

Для большого количества торрентов (а 40 ТБ это как правило пара десятков тысяч торрентов) выбор клиента однозначен — rtorrent.

Тут нечего ответить, кроме «лол». Видимо, ты не пробовал следовать своей же рекомендации

router ★★★★★
()

Данные всё равно не уникальные, в случае фейла можно и перекачать.

Btrfs с nodatacow (или эта фича в ZFS так называется, не помню).

anonymous
()

Torrent без централизованных трекеров не работает.
Поэтому трекер (а вместе с ним торрены) уязвимы - во всех смыслах: начиная от технических опасностей, т.е. трекер можно закрыть/заблочить роскомнадзорно, кончая организационными опасностями, т.е. владелец трекера может обидеться/забухать.

Нужно выбирать чистые p2p, абсолютно без центров.
Из таких действующих на сегодня я знаю только RetroShare.

Novator ★★★★★
()

Я держал до трех тысяч на трансмишшене и обычном hdd, бывало по триста личеров одновременно, больше не потянул мой домашний маршрутизатор (если честно, то и на ста личерах его надо было перезагружать каждый день). Оперативу он просто нюхает, даже одного гигабайта никогда не было.

abraziv_whiskey ★★★★★
()

Или рискнуть в софтовый RAID0?

Но зачем? IMHO, выигрыш в скорости не компенсирует геморрой с восстановлением 40(!) TB данных из бекапов. Вы хотя бы примерно прикидывали время восстановления? Я бы на Вашем месте пожертвовал пространством и собрал бы 10 raid. Тем более Вы сами пишете, что на данный момент у Вас только 7 TB данных. По мере разрастания объема докупите еще дисков. Ну или прислушался бы к совету выше про ZFS.

Serge10 ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.