LINUX.ORG.RU
ФорумAdmin

Сеть на 10-20 Gbit на чем собирать? Подскажите

 ,


1

3

Ребята, посоветуйте.

У нас в студии мы очень активно работаем с видео. На данный момент в студии настроена 1 Gbit сетка. По ней постоянно гоняет видео, последовательности картинок (кадров), в общем зрузим сетку сильно. Но хочется работать не на пределах сети, а иметь запас. Плюс технологии не стоят на месте и если сейчас full HD ещё пока основной формат, то очень скоро основным будет 4к.

Соответственно я давно начал задумываться о переводе сетки на 10-20Gbit, но т.к. я не спец в сетях и максимум на что меня хватило, это настроить гигабитку в студии, то мне нужен совет профессионалов.

У нас в студии порядка 10ти рабочих станций, плюс 1 файловый сервер и 1 медиа-сервер. Файлы в основном гоняются между рабочими станциями и файловым хранилищем. Расстояние между компами от 3 до 10 метров.

Вопрос. На чем лучше поднимать сеть в указанной скоростью? Вопрос стоимости тоже очень важен, поэтому мне скорее важен бюджетный вариант.

Спасибо за советы

посмотрите на SNR коммутаторы (10 гигабит). Например, SNR-S2970-12X (12 штук 10-тигигабитных портов) У некоторых коммутаторы российских производителей вызывают жесткую неприязнь, но почему бы и не посмотреть. У нас подобный работает, пока нареканий нет. Дальше посмотрим.

gvtlor
()
Ответ на: комментарий от Deleted

Infiniband

+1
но вряд ли это будет бюджетно, а если где-то найти и использовать старье (DDR/QDR/FDR-10), то это чревато проблемами в будущем, когда приспичит добавить хостов или карта выйдет из строя, а такой раритет уже нигде не найти
хотя может быть новые карты обратно совместимы со старыми протоколами, но опять же они недешевы

anonymous
()
Ответ на: комментарий от gvtlor

Это китайский DCN с другой наклейкой. Было много таких, продали, ибо задолбало работать бетатестерами (в одной версии прошивки глючит одно, в другой другое).

svr4
()
Ответ на: комментарий от anonymous

Тоже вариант, но нужно в каждый комп недешевую 1х4 сетевую ставить, которая даст при бондинге 4GB. Плюсом будет обычный сетевой кабель, т.е. 4 обычных в каждую машину. По соотношению цена/пропускная способность не очень интересно.

Deleted
()

кстати, после прокачки сети может оказаться, что файловый сервер станет узким местом: например, средняя скорость одного диска ~120МБ/с = 1Гб/с; имей это ввиду

anonymous
()
Ответ на: комментарий от anonymous

бондинг не вариант если соединение TCP/UDP идёт одно, оно пойдёт по одному линку. Бондинг поможет для сервера когда клиенты разные. Все признаки по которым пакеты раскидываются по линкам при файлоперекачке между двумя компами будут одинаковыми.

The_Ketchup ★★
()
Ответ на: комментарий от anonymous

одного диска

Кто-то до сих пор работает с видео не на RAID0? А там таки производительность до определенного предела растет по числу дисков.

Алсо, на последовательной записи SAS-харды выдают порядка 250 метров в секунду, а не 120, как недосигейт в твоем ноутбуке.

svr4
()
Последнее исправление: svr4 (всего исправлений: 2)

Вариант «каждой рабочей станции дать свой DAS с набортным рейдом» не рассматривали? С какой именно целью гоняете файлы по сети? Может быть, узкое место решится реорганизацией порядка работы?

targitaj ★★★★★
()
Ответ на: комментарий от svr4

Кто-то до сих пор работает с видео не на RAID0?

человек сказал, что он в сетях не спец, но занимался и продолжает заниматься сетью, подозреваю, что и по серверам такая же ситуация

Алсо, на последовательной записи SAS-харды выдают порядка 250 метров в секунду, а не 120, как недосигейт в твоем ноутбуке.

250 не видел, видел 200, но это скорость только в самом начале диска, а по мере его заполнения скорость сильно падает; типичный диапазон скоростей max/min=160/80, что в среднем дает ~120

и про мой недосигейт в ноутбуке помолчи, раз не разбираешься

anonymous
()
Ответ на: комментарий от dk-

Современные ... массивы ... ссд

если задаться целью, и есть деньги, то может быть что угодно, но скорее всего когда-то было собрано что-то из того, что было под рукой, поэтому и оценка такая средняя без оптимизма, учитывая, что бюджет у человека сейчас ограничен, значит, вероятно (а других данных нет), было так же и когда вся эта конструкция собиралась

и вообще, я лишь посоветовал обратить внимание, а тут сразу налетели умники с современными суперкомпьютерами в каждой комнате, думающие, что так у всех, и не может быть иначе

anonymous
()
Ответ на: комментарий от anonymous

ST2000VX000

Да не, все проще. Я лишь обратил внимание на несоответствие реальности старого мифа «да у вас винты медленнее гигабитной сетки!» Давно уже неактуально, если винты не хлам. А уж если хотя бы банальный 10й рейд...

dk-
()

Можно и на гигабите с настройкой джумбофреймов поковыряться, если свитчи «правильные». Мне удавалось чуть ли не удваивать скорость передачи. А узкие места, например к файлсерверу, расширять бондингом. Межсвитчёвую коммутацию можно выполнить оптикой на 10гбитных сфпшках. Выйдет дешевле чем тотальный переход на 10гбит.

Jameson ★★★★★
()
Ответ на: комментарий от anonymous

10-гигабитная сеть
ограниченный бюджет

Так толсто, что даже толсто.

svr4
()
Ответ на: комментарий от Deleted

Jumbo не на всяких сетевухах заведётся в винде.

Подобрать дрова, подобрать сетевухи... Это решаемо и финансово достижимо как минимум.

Я считаю что сначала нужно выжать максимум из уже имеющейся сети, устранить узкие места, а уже потом постепенно апгрейдить её, начиная с межсвитчевой коммутации.

Я лично бы начал с покупки свичей с поддержкой 10гбит sfp модулей, без самих модулей пока, настройки jumbo и бондинга в узких местах.

Jameson ★★★★★
()
Последнее исправление: Jameson (всего исправлений: 1)
Ответ на: комментарий от dk-

10гбе сетевка на меди стоит менее 10к руб.

И это прекрасно, но топикстартер финансово ограничен. И в любом случае начинать нужно со свичей и ядра сети. Я оптику как пример привёл, с ней работал, а вот 10гбит эзернет ещё не видел. Можно и на нём сделать. Суть в том, что апгрейдить нужно места в апгрейде нуждающиеся. И иногда оказывается что достаточно настройки и оптимизации узких мест вместо немедленного тотального апгрейда.

Jameson ★★★★★
()
Ответ на: комментарий от Jameson

С общим посылом согласен. Но когда нужно гонять сотни гигов туда сюда (у меня тоже такой прикол есть) - хоть заоптмизируйся :) 1гбит - говно.

dk-
()
Ответ на: комментарий от Deleted

Jumbo не на всяких сетевухах заведётся в винде.

Исторические первобытные гигабитки делались в китае путём разгона 100мбитных карт. Они и стандарт поддерживали не полностью и джамбо не умели. Сейчас такого кала уже нет. Микрософтовские умолчальные дрова могут не давать ручек для настройки джумбы, это лечится более другими дровами но с этим на винфак. При наличии современного железа всё достижимо, а древний свитч или сетевуху всё равно придётся заменять.

Jameson ★★★★★
()
Ответ на: комментарий от dk-

1гбит - говно.

И не поспоришь :) Решается, как всегда, деньгами конечно. Нет денег - оптимизируй то что есть :)

Jameson ★★★★★
()

Как админ, наевшийся кексов на подобных проблемах, хочу разрушить мираж - дешево не получится. Либо будет сначала дешево, но постоянные просадки скорости и мучения, падения связи в самые неудобные моменты, а потом все равно переход на нормальное оборудование, либо сразу нормальный проект и оборудование.

Мой совет - оптоволоконный свитч, сетевые карты с поддержкой оптики всем нуждающимся, один раз настроенная сеть и лет 5 спокойной жизни. Свитч лучше циску, конечно.

alexnorton
()
Ответ на: комментарий от dk-

винт в конце выдает 140
ST2000VX000

не верю!
вот, прогони тест, и давай пруф:

#!/bin/sh

DEV=/dev/sdr

BS=104857600
DEV_SIZE=`blockdev --getsize64 ${DEV}`
let BLOCKS=DEV_SIZE/BS-1
for (( (COUNT = 10, I = BLOCKS); COUNT > 0; (I--, COUNT--) ))
do
    echo "$I:"
    dd if=$DEV of=/dev/null iflag=direct bs=$BS count=1 skip=${I}
done

anonymous
()
Ответ на: комментарий от anonymous

Через некоторое время (как закончится текущий расчет) могу лишь вендовой тулзой какой прогнать. Я офтопщик :)

dk-
()
Ответ на: комментарий от dk-

вот ведь, виндузятники, что откуда у них следует — хрен поймешь... :)
где я такое говорил? я лишь посоветовал перед тем как апгрейдить сетку в условиях деньго-дефицита, сразу проверить еще и ТТХ файлового сервера, чтобы он потом вдруг не стал узким местом, а денег больше нету

anonymous
()
Ответ на: комментарий от anonymous

Я просто из любопытства спросил!) Ну и лулзов ради :)

dk-
()
Ответ на: комментарий от dk-

на оффтопе какой-нить hdtune правильно настроенный может дать нормальный результат, ничем не хуже теста на онтопе

smilessss ★★★★★
()

10G и бюджетный вариант это взаимоисключающие параграфы.

Можно прикинуть (цены яндекс маркета):

1 X NETGEAR XS712T по 112К

10 Х Intel X540-T1 по 10 X 28K = 280K

+ бухта Cat 6 по 8К

= 400К

Это на среднем оборудовании.

trancefer ★★
()

Очевидный servethehome.com же.

devl547 ★★★★★
()
Ответ на: комментарий от svr4

Уважаемый, а разве для «моих 120» в моем «недосигейте в ноутбуке» критичным является SATA вместо SAS? Наверное ssd установленный в тот же SATA через libastral подключается через SAS?

anonymous
()
Ответ на: комментарий от anonymous

Нормальный SSD устанавливается в M2 и подключается через libpciex4. А сата это так, порнушку дома посмотреть.

svr4
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.