сравнительное тестирование linux/*bsd в качестве маршрутизатора

>Ну не скажи, это при одном потоке, при двух потоках разница уже очень ощутима... И да, Freebsd сильно обходит и freebsd6 и linux :)

В зависимости от условий изменятся и результаты и не думаю, что линейно..

Ясно, что местами обходит,.. Там сейчас идёт затянувшаяся реконструкция системной архитектуры, так что, ничего удивительного..

>цыска это хорошо конечно но зачастую неоправданно дорого... как шейпер тоже непонятно как её использовать, особенно если хочется порядка 5000 IP'шников зашейпить на разные скорости...

Не сочтите за сарказм - но я не представляю себе зачем нужно шейпить 5000 ip-шников ?

В добрый путь, Таттелеком. Ставьте зюзерутеры.

Фтыкаем тут :))) http://asterisk.org.ru/index.php?option=content&task=view&Itemid=29&a...

Емае. Ну откатил нортел(или джунипер, не суть) ребятам денег, вот вам и "пеар" черный. Делов то :) Я же не говорю что Cisco Systems делает идеальное оборудование, есть у них откровенные промахи, с этим только глупый спорить станет.

> Не сочтите за сарказм - но я не представляю себе зачем нужно шейпить 5000 ip-шников ?

А это, по-твоему, много ?

>Зюзероутер?

Просветите пжлст, где можна почитать о феномене оного?

>>Зюзероутер?

>Просветите пжлст, где можна почитать о феномене оного?

Мне тоже интересно, чем зюзероутер так отличается от остальных линуксовых рутеров?

Да был тут на ЛОРе Зюзеюзер с зюзероутером, личность попавшая в анал ы лора :))

> > Не сочтите за сарказм - но я не представляю себе зачем нужно шейпить 5000 ip-шников ?

> А это, по-твоему, много ?

Да пофиг, в принципе, поставить Зюзю - оно зашейпит все что есть одним движением прямо из коробки.

> или ты счимтаешь что сендмейл тоже обслуживает рутинг? ;)

По слухам, в виде .cf можно написать любую программу, в т.ч. - и юзерспейсную реализацию роутера ;)

А вообще Суся очень приличный дистрибутив. Для сравнения, поставил тут не давно FC6, не пользовался коей 3-4 года. Ребята - такое ощущение что ничего не менялось. Как были одни грабли, так и остались. И я поддерживаю, что в Сусе всё будет работать прям из коробки...

> В реальных условиях (засранные вирусами венды, торренты, порнуха) фря

> работает, а линух тихо умирает

Абсолютно противоположные данные. Работаю в одном из самых крупных провайдеров москвы (одна из самых крупных домашних сетей), предоставляющих интернет 20000 абонентов, 7 районов москвы, везде оптика. FreeBSD практически неприемлемая ОС для работы в качестве маршрутизации и раздачи интернета. Отвратительно держит нагрузки. 4.X куда ни шло, 5.X работает значительно хуже. 6.X не работает вообще. Раз в два-три дня kernel panic, fatal trap 12, как только нагрузка прыгает выше 300 мегабит. Финиш. Надеемся на как можно скорейшую миграцию на Linux. Эксперименты на _реальных боевых условиях_ показали, что Linux держит нагрузки в 2-3 раза бОльшие.

> аппаратный рутер купить не пробовали??

Если мало представляешь, о чем говоришь - лучше молчал бы. Нами рассматривались варианты закупки гейтов на основе Cisco. Машина, более-менее умеющая NAT, начинается от 60000Eur. Так что подобные идиотские советы оставляй при себе, пока реально не сталкнешься с тем, о чем пытаешься заявлять.

> не в Мбитах счастье. можно и на 100мбит положить роутер.

> Как можно видеть, linux нормально живёт при > 500kpps.

Абсолютно верно. Мегабиты не интересуют совсем. Linux совершенно спокойно себя чувствует и при 300000 пакетов в секунду и при 400000. FreeBSD загибается уже при 150000 пакетов в секунду, причем загибается так, что невозможно даже на консоль залогиниться.

Вообще это моё любимое занятие, бздню линуховым ядерным pktgen'ом класть. Ложится на раз-два :)

P.S. Что только с бздней не делали, как только её не тюнили - 150 тысяч пакетов в секунду - это предел для неё (на em интерфейсах, на остальных - и того меньше), хоть тресни. Что ни говори - а бздня - это система даже не вчерашнего, а позавчерашнего дня.

Мне где то попадалась PDF-ка с тестированием Linux на 1 или 10Ge адаптерах, так там с какими то адаптерами (кажется Areca или Intel) было 1'500'000 пакетов в секунду ...

> Мне где то попадалась PDF-ка с тестированием Linux на 1 или 10Ge

> адаптерах, так там с какими то адаптерами (кажется Areca или Intel)

> было 1'500'000 пакетов в секунду

Это вполне может быть, даже скорее всего так и есть. Практически все вендоры Linux в своих ядрах включают режим NAPI для всех адаптеров, где только это можно включить. NAPI - изумительная реализация отложенных прерываний. Не то, что убогий и тупой POLLING в бздне. При включении polling'а в BSD она более-менее сносно тянет 200-250 тысяч пакетов в секунду, НО латентность передачи данных неприемлемо возрастает. ping, проходящий через бздню с поллингом увеличивается раз в пять, задержки становятся невыносимыми, народ начинает обрывать службу тех. поддержки с криками "инет лагает". Т.е. при включении поллинга система более-менее ворочается, чувствует себя неплохо, но пакеты, проходящие сквозь неё жутко тормозят (время задержки увеличивается в 5-10 раз и является неприемемым). В случае интеллектуального NAPI всё иначе. Как сказано в документации, при 400000 пакетов, ядро Linux + NAPI генерит всего 7 прерываний в секунду, что _никак_ не сказывается на производительности, и при снижении количества проходящих сквозь linux-роутер, количество прерываний увеличивается, поддерживается адекватность нагрузкам роутера. Более того, количеством пакетов невозможно впринципе положить linux-гейт, если включен NAPI. Сунешь linux'у миллион пакетов - он и миллион прожует, не поперхнется.

>при 400000 пакетов, ядро Linux + NAPI генерит всего 7 прерываний в секунду

далан, в том же даташите к ынетеловской гигабитке сказано, что буфер у нее на 50 пакетов, и при его заполнении дергается прерывание... так что как бы ни был хорош поллинг, на хороших потока буфер все равно будет забиваться и будут дергаться прерывания, хотя это всеж лучше, чем по прерыванию на пакет :)

У нас на пятёрка 400 мегабитах не паникует, лагов нет =)

а у нас что на пятерке что на шестерке ~5 мегабит трафика не держит, проц занят на 40-80% интераптами, пулинги включены, карточки dlink гигабитные (помоему 528* модель), не поделитесь секретом?

Секрет мне неизвестен, админю эти рутера не я. Известно, что конфиг ядра довольно обширный, только сетевых настроек там строк 50

> У нас на пятёрка 400 мегабитах не паникует, лагов нет =)

На пятерках не получилось адекватно поднять ngnat. Вынуждены были перейти на шестерку. Из всех возможных в бзде натов, ngnat самый шустрый.

жаль, тут разговоры о отнях тысяч пакетов ведутся, а если верить trafshow то через наше горе проходит ~700 пакетов в секунду и получаем ~40 процентов интераптов, хотя с другой стороны есть машинка под линуксом, через нее тоже трафик идет небольшой, но ослы, торенты делают свое дело, инетрапты там тоже на уровне ~40 процентов, карточки 100 мегабитные реалтеки причины в них? кто подскажет?

есть всего 3 карточки на 100МБ/с, которые подходят для сильно нагруженного роутера: 3COM, Intel и еще одна экзотическая с драйвером tulip с чипами от DEC

У нас интелы и марвелы, не жалуемся

>На пятерках не получилось адекватно поднять ngnat.

Сочувствую, мы предоставляем нашим клиентам реальные IP (с нереальными никому уже не надо)

интел пробовал, назывались они как-то Intel Desktop, что-то в этом роде, проблема была с ними, они при более-менее высокой нагрузке почему-то отваливались, dmesg писал watchdog timeout, пришлось их поменять, т.к. разбираться в чем дело времени небыло, так и валяются на полке.

мы тоже предоставляем реальные ip, считаем трафик по netflow, так вот иногда бывает проблематично объяснить клиенту что ему кто-то из инета влил трафик, когда у него был выключен компьютер, пакетики прошли через роутер, попали в нетфлоу, а то, что они не дошли до адресата уже все равно. Думаю если пользовать фейк + нат такой проблемы не будет. не сталкивались с этим?

> а у нас что на пятерке что на шестерке ~5 мегабит трафика не держит, проц занят на 40-80% интераптами, пулинги включены, карточки dlink гигабитные (помоему 528* модель), не поделитесь секретом?

Господа! Я фигею с вас! Сколько лет юзаю разные фряхи в разных видах и позах... И чтоб фряха упала?!?!? Да вы чего???? У меня на роутерах и по 8 карточек стояло, причем железо не ахти какое было... И все работало!!!!!! И сейчас работает. Скажите мне, откройте пацанский секрет: КАК МОЖНО ПОЛОЖИТЬ ФРЮ? Это чего же такого надо наплодить в сети, чтоб фрю положить?

Сразу оговорюсь, с линухами дела не имел, поэтому ничего не могу сказть про них.

>жаль, тут разговоры о отнях тысяч пакетов ведутся, а если верить trafshow то через наше горе проходит ~700 пакетов в секунду и получаем ~40 процентов интераптов, хотя с другой стороны есть машинка под линуксом, через нее тоже трафик идет небольшой, но ослы, торенты делают свое дело, инетрапты там тоже на уровне ~40 процентов, карточки 100 мегабитные реалтеки причины в них? кто подскажет?

реалтеки если 8139 - то выкинуть с роутера сразу в помойку.

поставьте себе Intel Pro 100/1000 + NAPI и расслабьтесь.

я ситуацию описал, ~700 pps ~40 интераптов, это на трафике ~5 мегабит, раздается интернет. добавить нечего. и я не говорил что она падает, она работает и речь не идет о том что линукс это хорошо а бсд плохо.

>хотя это всеж лучше, чем по прерыванию на пакет :)

на самом деле это не совсем так...

Большинство(если не все) карт позволяют принять болле одного пакета за одно прерываение. За это отвечает параметр /proc/sys/net/core/netdev_budget

hw.model: Intel(R) Pentium(R) 4 CPU 3.20GHz
сейчас 2kpps
CPU states: 1.9% user, 0.0% nice, 3.1% system, 1.9% interrupt, 93.0% idle
load averages: 0.08, 0.07, 0.06

работает ipcad (никак не соберусь изучить нетграф и перейти на ng_ipacctd), natd(для не tcp/udp), named, snmpd,ircd
они и грузят % user.
Во время вирусни было 15-20kpps, всё было нормально. В пики активности пользователей 5-10 kpps. Ни одного лага не было замечано. Латентность немного возрастала, но это не критично. Пара мс - не беда :)
в ядре ipl.ko (для ipnat tcp/udp)
в ipfw 1600 правил, без таблиц. И dummynet(шейпер).
HZ=2000
немного настроек:
kern.polling.enable=1
kern.polling.reg_frac=50
kern.polling.each_burst=100
kern.polling.burst_max=1000
kern.polling.user_frac=35
net.inet.tcp.recvspace=131072
net.inet.ip.intr_queue_maxlen=150
net.inet.tcp.sendspace=131072
net.inet.icmp.icmplim=500
kern.ipc.maxsockbuf=8388608
net.inet.ip.dummynet.hash_size=16384

карточки две: 82540EM Gigabit Ethernet Controller

однако сейчас запустил kern.polling.idle_poll - вообще разницы нет, а постоянный опрос - это хорошо, латентность снизил.
Ни одного сбоя, ни одной проблемы.

кто-то писал, что проблемы были в 5ке и 6ке с em - да были, но сейчас в rc1 с em всё в порядке, поправили драйвер. В рассылках об этом упоминается. Кстати, это и были тесты em драйвера.

Хотелось бы услышать отзывы тех людей, которые используют в крупный провайдерах, как у вас обстоят дела? Один человек отписался, но без цифр как-то не интересно было читать, сложилось ощущение "мне рассказывали", а хотелось бы цифр :)

забыл добавить: 4.11-RELEASE-p21

ребята, то что вы тут обсуждаете не имеет к действительности никакого
отношения. дядя, запостивший тест говорит о ПЛОХОМ КАЧЕСТВЕ дравера
em под BSD. и пути решения проблемы.

это СТАРАЯ проблема из-за криворукости интеловских программеров.

драйвер em, к сожалению является самым худшим (при относительной
нормальности самих железок) из всех гигабитников, поддерживаемых в BSD.
sk и bge -- вот что рулит в BSD. используйте их.

cu.

дядя, запостивший тест говорит о ПЛОХОМ КАЧЕСТВЕ дравера
em под BSD. и пути решения проблемы.
это СТАРАЯ проблема из-за криворукости интеловских программеров.
драйвер em, к сожалению является самым худшим (при относительной
нормальности самих железок) из всех гигабитников, поддерживаемых в BSD.

Ага-ага! 
Только почему-то e1000, который писали те же интеловцы в linux 
не страдает проблемами с производительностью. И если посмотреть тест,
наилучшие результаты у freebsd4. Т.е. исходя из вашей логики драйвер был кривой, а потом его улучшили и производительность упала почти в 3 раза.

ну так 4.11 уже не поддерживается, блин ей уже почти 2 года!

>>Эксперименты на _реальных боевых условиях_ показали, что Linux >>держит нагрузки в 2-3 раза бОльши Дай угадаю.. Драйвер em? Тогда вам батенька надо руки отрывать.

>Для сравнения, поставил тут не давно FC6, не пользовался коей 3-4 года. Ребята - такое ощущение что ничего не менялось. Как были одни грабли, так и остались

Это какие же?

>>P.S. Что только с бздней не делали, как только её не тюнили - 150 >> тысяч пакетов в секунду - это предел для неё (на em интерфейсах, >> на остальных - и того меньше), хоть тресни. Что ни говори - а >> бздня - это система даже не вчерашнего, а позавчерашнего дня. Хотелось бы посмотреть на людей, которые ее тюнили.. Чтобы на гигабитной карте(em) получить 200(!) мегабит - это надо сильно натюнить.

>мы тоже предоставляем реальные ip, считаем трафик по netflow, так вот иногда бывает проблематично объяснить клиенту что ему кто-то из инета влил трафик, когда у него был выключен компьютер, пакетики прошли через роутер, попали в нетфлоу, а то, что они не дошли до адресата уже все равно. Думаю если пользовать фейк + нат такой проблемы не будет. не сталкивались с этим?

И тут всплывает разница между технологией предоставления услуги. Мы трафик не учитываем... нигде... Может это счётчики трафика так тормозят процесс?

У меня, в месте пересечения, коммерческой и нескольких домовых сетей (~2000 клиентов) стоит FC5, с шестью гиговыми сетевухами, с кучей vlan'ов, с несколькими каналами завёрнутыми в openvpn, есть несколько корпоративных сетей спрятанных за NAT'ами. Железка - старый списанный сервер: 2xPIII-733, 640Mb RAM, SCSI-винты. С нашей стороны (коммерческая сеть - оптика, управляемы свитчи & etc) стоят игровые сервера, видеосервер, транслирующий несколько спутниковых каналов в DVD качестве, телефония, плюс огромные файловые помойки. Доступ ко всем нашим ресурсам, для всех сетей, халявный, так что качают все не стесняясь ;-) Так же, за этим сервером, находится DMZ и и-нет... На нём же живёт irc и управляемый iptables (для координаторов домовых сетей написаны скрипты, позволяющие им заполняя простейшие списки ip/ mac, блокировать нарушителей). Сосбственно вот такое вот "сердце" сети (сетей) ;-) Там ещё много чего по мелочи - все задачи стандартные, так что перечислять их тут и не надо :-) В "параллельной" сети народ взвёл BSD (какую не знаю) , соединяет она всего три сетки, человек по 50 в каждой. Задач на ней, кроме роутинга - никаких. Железка используется адекватная, что-то там Атлонистое стоит. Пока они работают между собой - всё нормально. Как только они подключаются к нам и нагрузка на их роутер многократно возрастает - оно тихо загибается через несколько часов работы... Вот такое вот у меня наблюдение...

> У нас на пятёрка 400 мегабитах не паникует, лагов нет =)

Ну написал же dmesg... Ты 400м как делаешь ? Пакетами по 1500B или по 30 ?

НАТ умеют 8хх серии , которые стоят от 600 баксов новье. Б/У 28хх можно взять за 400 баксов. Или у вас понятие о NAT'е совсем уж извращенное? ))) Собственно по теме.. Похоже все тут воспринимают шлюз как iptables с таблицами NAT'а или PF с тем же NAT'ом. Как насчет пограничного маршрутизмтора, обслуживающего AS с bgp в котором fullview уже больше 70 мегов?? Кривые поделия типа zebra/quagga не предлагать.

> Сочувствую, мы предоставляем нашим клиентам реальные IP (с нереальными никому уже не надо)

Интересно, это где такие грамотные пользователи ? А как там с загаженностью вирусами ? У нас бОльшая часть клиентов даже о различии не подозревает...

> НАТ умеют 8хх серии , которые стоят от 600 баксов новье. Б/У 28хх можно взять за 400 баксов.

И с каким потоком 28xx справится ? :-)

> охоже все тут воспринимают шлюз как iptables с таблицами NAT'а или PF с тем же NAT'ом.

Именно так,

> Как насчет пограничного маршрутизмтора, обслуживающего AS с bgp

Не заметил, что тут подключение клиентов обсуждают, а не core network ?

> Кривые поделия типа zebra/quagga не предлагать.

Ты сначала попробуй - потом пиши такое.
Когда попробуешь, посмотри еще и на xorp.
Далее, если перестанешь с фанатичными глазами
рассматривать не стене свои сертификаты от сисок и мс,
то может узнаешь, что есть поисковики, в которых тебе детально
расскажут, как циски лежат в 100% загруженности так,
что консоль не работает.

Как сосет сиска почитать можно здесь: http://www.linux.org.ru/view-message.jsp?msgid=1588771

Сертификатов нет. Работается и без них хорошо. >как циски лежат в 100% загруженности так, что консоль не работает. Ну бывает что подпускают к консолям фанатичных линуксоидов - от этого и не работает =) Смотрю сейчас на все свои core-маршрутизаторы (преимущественно 36хх) - загрузка 10-30%. Магистральные каналы от 2 до 100 мегабит - по десятку интерфейсов на каждом узле.

> Ну бывает что подпускают к консолям фанатичных линуксоидов - от этого и не работает =)

Пример, как фанатик-линуксоид может нат криво настроить, покажите пожалуйста.


> Магистральные каналы от 2 до 100 мегабит - по десятку интерфейсов на каждом узле.

Ничего не дает. Важен трафик.

Кстати, вопрос ради информации (раз уж о магистральных каналах заговорили):
Может ли циска объединять разноскоростные разнотипные каналы
с разными интерфейсам в один? Как?