LINUX.ORG.RU
ФорумAdmin

PFSense в VirtualBox перегружает процессор хоста при сетевой нагрузке

 ,


0

2

Хост: Oracle Linux 8.3
В виртуалбоксе поднята виртуалка с PFSense 2.6.0-RELEASE
Виртуалке отдано 3 ядра и 6 Гб ОЗУ:

Intel(R) Xeon(R) Silver 4215R CPU @ 3.20GHz
3 CPUs: 1 package(s) x 3 cache groups x 1 core(s)
AES-NI CPU Crypto: Yes (inactive)
QAT Crypto: No 

На входе инетик 200 мегабит, на выходе сетевуха 10гбит воткнутая в 1гбит свитч.
Сетевые карты прокинуты так:

      <Network>
        <Adapter slot="0" enabled="true" MACAddress="080027E8DACE" cable="true" type="82540EM">
          <DisabledModes>
            <InternalNetwork name="intnet"/>
            <NATNetwork name="NatNetwork"/>
          </DisabledModes>
          <BridgedInterface name="eno2"/>
        </Adapter>
        <Adapter slot="1" enabled="true" MACAddress="0800277BCED2" cable="true" type="82540EM">
          <DisabledModes>
            <InternalNetwork name="intnet"/>
            <NATNetwork name="NatNetwork"/>
          </DisabledModes>
          <BridgedInterface name="eno1"/>
        </Adapter>
      </Network>

у хоста на eno1 (локалка) есть свой адрес в локалке с шлюзом в виде локального IP PFSens’a (на этом-же порту), на eno2 (инет) у хоста левый ойпи и нет шлюза

2: eno1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
    link/ether 3c:ec:ef:5f:cc:82 brd ff:ff:ff:ff:ff:ff
    inet 10.42.0.3/24 brd 10.42.0.255 scope global noprefixroute eno1
       valid_lft forever preferred_lft forever
    inet6 fe80::db41:f762:cef2:836f/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever
3: eno2: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
    link/ether 3c:ec:ef:5f:cc:83 brd ff:ff:ff:ff:ff:ff
    inet 10.10.10.10/8 brd 10.255.255.255 scope global noprefixroute eno2
       valid_lft forever preferred_lft forever
    inet6 fe80::661c:bc6f:589d:6bb/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever

PFSense с настройками по дефолту, только забиты адреса
Всё работает нормально пока тягается файл в 1-2 потока - инетик показывает свои законные 200 мегабит, файлики бегают, всё ок.
Стоит запустить побольше потоков, например поставить на скачку торрент (там всего то потоков 10-15), и инетик начинает адиозно страдать, при этом загрузка процов следующая:
по мнению вэб морды PFSense всё плохо и загрузка проца 75% при нулевых загрузках буфера/памяти/свопа:

MBUF Usage 	
0% (4650/1000000)
Load average 	
2.29, 1.02, 0.56
CPU usage 	
75%
Memory usage 	
4% of 5945 MiB
SWAP usage 	
0% of 2047 MiB

по мнению консоли PFSense всё прекрасно и загрузки проца нет:

last pid: 36712;  load averages:  2.03,  1.31,  0.74  up 1+03:07:25    19:35:49
47 processes:  3 running, 44 sleeping
CPU:  0.2% user,  0.0% nice,  2.4% system,  0.7% interrupt, 96.8% idle
Mem: 30M Active, 52M Inact, 210M Wired, 78M Buf, 5489M Free
Swap: 2048M Total, 2048M Free

last pid: 59105;  load averages:  2.48,  1.56,  0.87  up 1+03:08:25    19:36:49
47 processes:  1 running, 46 sleeping
CPU 0:  0.2% user,  0.0% nice,  2.2% system,  0.3% interrupt, 97.3% idle
CPU 1:  0.2% user,  0.0% nice,  1.2% system,  1.7% interrupt, 96.9% idle
CPU 2:  0.1% user,  0.0% nice,  3.8% system,  0.0% interrupt, 96.0% idle
Mem: 30M Active, 52M Inact, 210M Wired, 78M Buf, 5489M Free
Swap: 2048M Total, 2048M Free

по мнению хоста всё плохо и загрузка процов 293%:

7896232 101072  79920 S 293,0   0,2 327:07.01 VBoxHeadless     

ну и в htop’е хоста слопаны все три доступных PFSens’у ядра

при этом убогий микротик hap ac первого поколения легко справляется с такой нагрузкой ограничивая поток скоростью вафли

вопросы:

  • что не так с виртуалкой?
  • т.к. я в такой ситуации не могу адекватно понять как оно расходует процы :-) то если я хочу иметь 200 мегабит с активными 1000 линками - мне хватит старого X3450 и 8 ОЗУ на выделенной машине?
  • а на 800 мегабит и 4000 активных соединений?

п.с. если погонять файлики по сети до хоста то проблем с нагрузкой нет, до виртуалки не пробовал

★★★★

Последнее исправление: rukez (всего исправлений: 1)

обновите сервер для начала — сетевые карты, биос и другие прошивки, какие могут быть. HP Gen10 на зионах ведут себя не очевидно (неадекватно) буквально с первого знакомства с ними.

P.S. я бы продолжал сидеть на HP Gen9 и не торопился с переходом на Gen10.

P.P.S.

https://ark.intel.com/content/www/ru/ru/ark/products/199349/intel-xeon-silver...

учитывая ваши потребности в ресурсах, на Gen9 вы могли бы обойтись 2667v4, поставив ту же 2400 память.

Spoofing ★★★★★
()
Последнее исправление: Spoofing (всего исправлений: 2)
Ответ на: комментарий от Spoofing

Серв супермикра, работает почти год без нареканий (ну разве что надо бы глянуть почему диски не достигают ожидаемых скоростей под OL, под вин и с ними все ок), вопрос только к виртуалбоксу вот внезапно нарисовался когда на серв переехала виртуалка с ним :-)

rukez ★★★★
() автор топика
Последнее исправление: rukez (всего исправлений: 1)

Может с virtio сетевыми будет лучше?

Elyas ★★★★★
()

От себя точно скажу, что проблемы с Pfsense и KVM точно имеются, именно в плане стабильности работы и нагрузки. Они даже писали что одна из новых версий pfsense должна работать стабильней в этой связи. Мой совет: не использовать pfsense в виртуальной среде. Сам хочу свалить уже куда-нибудь, задолбало.

DALDON ★★★★★
()
Ответ на: комментарий от DALDON

У меня вся сеть (геораспределёнка) одного клиента работает на pfsense внутри kvm. Проблем не замечал. Каналы от 30 до 100Мбит/с WAN, и от 1 до 2.5Гбит/с LAN/VLAN. Функционал: firewall, nat, vpn, haproxy. Сеть везде virtio, 2-4 ядра, 2-8GB RAM.

BOOBLIK ★★★
()
Ответ на: комментарий от darkenshvein

ээ. зачем так извращаться?

Скопировал папочку с виртуалкой и сразу получил бэкап, возможность перенести на другую машину или в другое место - со всеми ключами, сертификатами и настройками - удобненько же.
Я прост не спец в пфсенсе от слова совсем и так оно спокойнее как-то :-)

rukez ★★★★
() автор топика
Ответ на: комментарий от DALDON

Мой совет: не использовать pfsense в виртуальной среде

Я с одной стороны согласен с тем что файрвол логично выносить наружу железно (хотя бы потому что тогда точно исключены приколы типа «хосту забыли отключить инетик на wan сетевухе и он попал голой попой в интернет» или «на хосте забыли отключить какое-нить квм/тпм и оно умудрилось пролезть голой попой в интернет», но с другой стороны у меня сейчас скорее тестовая установка чем боевая, и в одном из мест будущей установки возможности воткнуть второй серв не будет

rukez ★★★★
() автор топика
Ответ на: комментарий от BOOBLIK

Ок! Спасибо. Моя древнейшая версия pfsense, очень, очень плохо работает в виртуалке.

DALDON ★★★★★
()

На pfsense в виртуальной среде первое, что надо сделать - это отключить hardware … offloading в System / Advanced / Networking

rubic
()
Ответ на: комментарий от rubic

На pfsense в виртуальной среде первое, что надо сделать - это отключить hardware … offloading в System / Advanced / Networking

там по дефолту отключено всё кроме чексум - отключил и их, ребутнулся, при многопоточке сразу загрузка проца 95%+, скорость в многоптоке 5 мб/с (мегабайт, не мегабит) т.е. в два раза меньше чем раньше

зато я нашёл кнопку выгрузки (бэкапа) конфигурации со всеми сертификатами - можно смело выносить на внешнюю железку :-D

rukez ★★★★
() автор топика
Последнее исправление: rukez (всего исправлений: 2)
Ответ на: комментарий от rukez

Накатил на железяку:

Intel(R) Xeon(R) CPU X3430 @ 2.40GHz
4 CPUs: 1 package(s) x 4 core(s)
AES-NI CPU Crypto: No
QAT Crypto: No 

с 2Гб озу при запущенном торренте загрузка:

State table size		
0% (616/197000) Show states
MBUF Usage 	
1% (5830/1000000)
Load average 	
0.45, 0.28, 0.11
CPU usage 	
5%
Memory usage 	
18% of 1973 MiB
SWAP usage 	
0% of 2048 MiB

при этом скорость стабильные 25мб/с (т.е. прям чЁтко 200мбит/с, которые для загородного провайдера предел возможностей по весьма невменяемой тарифной сетке)

итогось старый чахлик на голом железе уделал свежего могуна с виртуалкой больше чем на порядок (в почти 20 раз ниже загрузка проца при в 2-3 бОльшей пропускной - в ~50 раз получается), весьма странно учитывая хохмические нагрузки

п.с. нюансы относительно установки на dell r210, если вдруг кому будет полезно - сей мамонт не может загрузиться с установочной флешки pfsens’a если включена загрузка через BIOS а не в EFI, при этом в установленную систему он наоборот, не может загрузиться если включена загрузка в EFI а не через биос - т.е. надо переключиться в ефи, установить и переключиться обратно.
бонусом - по дефолту у 210 отключена виртуализация у проца а пфсенс может на этом сломаться - лучше включить
ну и последний момент - мой выпущен в 2009, в первый раз включился сегодня (лежал подменкой), батарейка ессно высохла и отключение стопа на ошибках ессно сбрасывается соотв. он таки будет упираться в «жамнкните ф1» до замены батарейки.

rukez ★★★★
() автор топика
Ответ на: комментарий от flant

йеп, я чот раньше на него не натыкался но тут он нагуглился в процессе поиска причин печали

rukez ★★★★
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.