Продвинутый анализ большого потока трафика & opensource

По ссылкам готовые железки,внутри там бсд какойнить или тотже линукс с красивым вебгуем.

обычный iptables squid...прочее стандартное...

Однако-осилить собрать(или что ты хотел?) такую фиговину(как по ссылкам)-непросто таки,и по стоимости одинаково или дороже того что по ссылкам.

Или ты хотел всунуть в ту железку(по ссылке) опенсурс?

ли ты хотел всунуть в ту железку(по ссылке) опенсурс?

неа, хочу сам такое собрать.

обычный iptables squid...прочее стандартное...

На железки, что я дал ссылки - там скорее всего всё делается аппаратно...

Однако-осилить собрать(или что ты хотел?) такую фиговину(как по ссылкам)-непросто таки

непросто найти подходящее железо или в чем именно самая большая проблема?

там скорее всего всё делается аппаратно...

Что значит аппаратно? Специально чипы для этого не клепают; ставят один из стандартных, пишут соотв. софт-прошивку. А это аналогично добавления кол-ва процессоров/ядер.

Так что берешь нормальный комп, ставишь туда *nix систему, тюнишь сетевую подсистему, устанавливаешь софт: tcpdump, iptables и т. п. Profit.

P. S. По ссылкам не ходил.

непросто найти подходящее железо или в чем именно самая большая проблема?

Хорошую сетевуху, материнку с хорошей шиной. Что еще?

Тебе нужен приличный DPI? В гугле нашёл разве что http://www.opendpi.org/

А это аналогично добавления кол-ва процессоров/ядер.

эээ, много же процессоров потребуется, чтобы фильтровать&делать dpi для 36*10G реалтаймово. Разве нет?

А какой первоначальный смысл затеи?

эээ, много же процессоров потребуется, чтобы фильтровать&делать dpi для 36*10G реалтаймово. Разве нет?

«Welcome to the real world» (С).
Да и задачку ты ставишь неслабую: 36*10G шутка ли.
Гуглить по ключевым словам «ATCA платформа»

Допустим, один хороший сервер сможет обслуживать 10Gb транзитного трафика (не факт, кстати). Тогда ставим 36 серверов в разрыв между портом и кабелем, профит.

По теме: 36*10Gb анализ даже аппаратно обслужить в пределах одной не стековой железки пока не реально, либо там совсем простые проверки, типа соответствия пар MAC-IP и т.д. Делать сравнения внутри пакетов с динамической длинной и структурой - не то же самое, что реализовать матрицу коммутации, пусть и с буферами и свистоперделками.

Осталось разобраться что понимается под «одной железкой». Если несколько ATCA кабинетов считать одной железкой - реально. Только там может быть несколько десятков компов.

Осталось разобраться что понимается под «одной железкой».

Ну если так рассуждать, то и мой вариант с кластером можно назвать одной железкой, если сделать единую точку управления и выгрузки логов.
И, я так понимаю, что AdvancedTCA стоит как оборудование в телекоме, а не в IT (т.е. заоблачно). И ещё очень хотелось бы, чтобы Вы указали хоть одну модель, которая может анализировать что-то глубже уровня IP.

И ещё очень хотелось бы, чтобы Вы указали хоть одну модель, которая может анализировать что-то глубже уровня IP

Ну, здесь я немного стеснен правилами конфиденциальности, в открытых источниках в основном вода. И тем не менее что-то нашел.
Если вы из России, вы наверняка не по наслышке знаете про это: http://www.huawei.com/ilink/en/success-story/HW_031501 ; возможности системы - предпоследний параграф второй главы.
А вот здесь http://www.huawei.com/en/about-huawei/publications/communicate/hw-093313-hw_0... , поискав по ключевым словам «DPI» и «FTP», тоже сможете представить о возможностях уже другой системы.
Да, статься про Мегафон говорит о проекте 2008 года, а вы ж понимаете, технологии на месте не стоят...

В первом случае какая-то говноэнтерпрайзная вода без конкретики вообще.
Во втором случае:

Portable probes can process data throughput at a maximum of up to 500Mbps.

И что дальше? Я уверен, что жаднющий хуавей будет за каждый l7 фильтр требовать отдельную лицензию за 1 000 000 рублей, примерно как они 3G/GSM оборудование лицензируют, ограничивать максимальное количество коннектов и т.д. И это при том, что стоимость чисто железки будет астрономической (хватит на пару стоек хороших серверов с 10GbE, InfinyBand, 500Gb SSD и пары шлюх-операторов). В конечном счете, такую производительность можно выжать на хорошем линукс-сервере. Тут даже про гигабиты речи не идёт, не то что про мифические 36x10GbE.

Я не думаю, что телеком вообще опять сможет нормально выйти на IT-рынок (за исключением каких-то очень больших провайдеров (но и тут уже намечается отдельная сфера производства, т.к. очевидно, что цена уж очень сильно завышена) или беспроводных провайдеров (но я отнес бы их чистому телекому)) или транснациональных провайдеров. Ну или провайдеров, у админов которых нету мозга, либо есть эффективный менеджмент (типа тех, где покупают циско-роутер за 10 000 $ для тупой маршрутизации пары гбит трафика). Они хотят сосать деньги из пальца, при этом класть 10 раз на пожелания клиента, что в условиях теперешней конкуренции у них будет всё слабее и слабее получаться. С другой стороны, из-за анроидофонов и быдла трафик в 3G/LTE всё востребованнее, так что на оборудовании и лицензиях фитч для него они ещё проедутся. Точнее на ОпСоСах проедутся.

В первом случае какая-то говноэнтерпрайзная вода без конкретики вообще.

Нужна конкретика - выходи на аккаунт менеджеров, будет тебе конкретика. Пока мы на LOR, имеем право общаться только о том, что в открытых источниках.

Что до мощностей, вспоминаем, что в первом случае говорится про мобильную сеть уровня 2008 года, где такие мощностях были вполне приемлемы. Для фиксированных сетей есть отдельные решения.

На сейчас я знаю что как минимум одно DPI-решение Хуавей пока не имеет аналогов на рынке.

Что до цен и лицензирования - если в RFP четко описана задача, указана трафик-модель и разумно распределены ответственности, то цены более чем вменяемы. Большие цены - когда формулировка типа «хочу все что есть, все что будет, в рамках кэпа и вся ответственность на вас; да, и я не знаю какие объемы буду покупать, но цены дайте рамочные.». Ну так любой вендор будет страховать риски. Слава Богу в последнее время таких RFP все меньше.

Все. Остальное - к аккаунт менеджерам. Инсайда на ЛОРе не будет.