Вопрос к счастливым обладателям 2-х процессорных серверов. (Если процессоров больше, то там все однозначно)

В каких случаях есть смысл включать в БИОСе режим NUMA и использовать ядра с поддержкой NUMA?

Есть ли какие-то категории задач которые в режиме NUMA дают прирост общей производительности системы или наоборот получается падение общей производительности системы ?

На x86 ядро перестает загружаться при включении поддержки 64GB RAM.

diffconfig .config.old .config 
-CRYPTO_DEV_HIFN_795X n
-OLPC n
 HIGHMEM4G y -> n
 HIGHMEM64G n -> y
 PGTABLE_LEVELS 2 -> 3
 PHYS_ADDR_T_64BIT n -> y
+ARCH_DMA_ADDR_T_64BIT y
+ARCH_ENABLE_SPLIT_PMD_PTLOCK y
+ARCH_PHYS_ADDR_T_64BIT y
+HAVE_ARCH_HUGE_VMAP y
+IOMMU_HELPER y
+LIBNVDIMM n
+PCI_BUS_ADDR_T_64BIT y
+SWIOTLB y
+X86_PAE y
+X86_PMEM_LEGACY n

При загрузке видна 1 строчка, что загружается ядро и мгновенная перезагрузка. Пока я далеко от этой машинки и нет возможности подключить сериальныю консоль.

Смущает, что ядро с PAE собранное под K8 (для домашнего компа) на этом интеле загружается.

До этого на ядрах 3.0 - 4.13 все было замечательно.

Машинка Asus RS100-X7/P8B-X c Xeon E3-1230 V2 16Gb RAM.

Я слышал про какие-то проблемы на x86 в ядрах 4.14, но беглое гугление не дало результата.

Может кто вспомнит, что за проблемы были ?

Есть какие-нибудь идеи кроме «git bisect» ?

Продолжение предыдущей темы

Оригинальный рецепт для тех кто умеет самостоятельно прикладывать патчи и собирать ядра/софт.

Отдельно и более подробно для Ubuntu и CentOS от as_lan

В понятиях netfilter оно умеет проверять пакеты на принадлежность к протоколам (match) и ставить на пакеты метки/классы (target) по аналогии с MARK & CLASSIFY. Есть поддержка NET_NS и IPv6.

Исходники теперь только на Github!

Ветка netfilter основана на nDPI-1.7.

От основной ветки на github/ntop/nDPI/1.7-stable отличается меньшим потреблением памяти и «улучшением» определения bittorrent.

Ветка netfilter2 основана на nDPI-2.0

Ветка netfilter-2.2 основана на nDPI-2.3(dev)

Ветка netfilter-2.6 основана на nDPI-2.6

Ветка flow основана на nDPI-2.6 nDPI-2.8

Продолжается тестирование ветки.

информации о соединении:

• время создания коннекта и время последнего обновления.
• протокол L3 и L4
• адрес источника ipv4/6
• порт источника (если есть)
• адрес назначение ipv4/6
• порт назначения (если есть)
• счетчики пакетов и байтов в обе стороны
• интерфейсы
• обнаруженный протокол (nDPI)
• имя сертификата SSL
• имя хоста (для http,dns)
• информация о nat ipv4 (если применялся)

В некоторых случаях можно будет отказаться от ipt_NETFLOW.

запускаю

/usr/bin/time -p -f 'real %e user %U sys %S mem %M Kb\n' perl xxxx

real 7.19 user 6.73 sys 0.23 mem 1058192 Kb

при том, что в /proc/self/status на момент завершения процесса

VmPeak:   314404 kB
VmSize:   314404 kB
VmLck:         0 kB
VmPin:         0 kB
VmHWM:    259460 kB
VmRSS:    259460 kB
VmData:   254632 kB
VmStk:       136 kB
VmExe:      1368 kB
VmLib:      4532 kB
VmPTE:       632 kB
VmPMD:        12 kB
VmSwap:        0 kB

Если верить докам

%M     Maximum resident set size of the process during its lifetime, in Kbytes.

Откуда этот гиг ???

Вышла недавно версия 1.3.0

Есть ли кто-нибудь использующий subj в продакшене ?

Или были ли попытки перейти на его использование ?

Собственно, что радует - умение резервирования в подсети, умение держать данные в БД, какой-то интерфейс для управления (замена omapi)

Есть машинка с софтовым рейдом, который замечательно собирается при помощи «dmraid -a y»

Но, есть том собранный из 2-х дисков в зеркало и разбитый при помощи LDM.

Проблема в том, что после сборки рейда в нем не распознается структура LDM ( но она замечательно распознается на каждом из дисков зеркала ).

Что бы сделать после «dmraid -a y» чтобы найти LDM на зеркале?

Интересно, а kpartx может помочь ?

Обнаружилась небольшая проблемка - результат работы программы собранной одной версией компилятора (на разных машинах) слегка отличается.

Хорошо то, что это выявляет тестовый набор данных, т.е. легко воспроизводится.

Это не вычислительная задача, где могут появится ошибки округления.

Я вижу в первую очередь несколько причин: разный размер для int, разное выравнивание в структурах, арифметика (переполнения).

Есть ли общая стратегия выявления причин таких проблем?

PS местами там реальный говнокод

Пройдя сборы резервистов вынужден констатировать - subj :(

Дохлые ноуты с atom d510 c offtopic7 c powerpoint перелистывают примитивные странички по 3-7 секунд!

PS начальник MBAA был слегка удивлён наличием батареи ПВО-шников на смотре полка :) Жили в палатке, кормили на убой, шикарная форма (летняя + зимняя но не от юдашкина, как у курсантов). Берцы - деревянное говно, пожалуй единственное, что омрачало сборы, т.к. обычно в день ходили по 16-12 км.

Понадобилось записать реальный трафик (до 500Mbit/s) на диск (tcpdump-ом и/или dumpcap). Все хорошо, но они сообщают о значительных дропах (packets dropped by kernel) и это при записи на отдельный раздел на ssd.

После небольшой модификации tcpdump выяснилось, что дропы приходят пачками, а не по одиночке. Промежуток между массовыми дропами 2-5 минут.

Параллельно запущеный vmstat показал, что запись на диск происходит изредко, но большого объема и как раз в эти моменты появлялись массовые дропы.

sysctl vm.dirty_background_ratio=1
sysctl vm.dirty_ratio=5
sysctl vm.dirty_writeback_centisecs=500
sysctl vm.dirty_expire_centisecs=1500
sysctl vm.dirtytime_expire_seconds=3000

позволило записать 10 минутный фрагмент трафика без потерь

Есть ли алгоритм подбора этих параметров под конкретную дисковую подсистему?

Нет ли возможности задать эти параметры для конкретного раздела (ФС)?

Делаем rsync -axH --backup --backup-dir=XXX --log-file=log src dst

Есть ли готовый скрипт, который откатит src до предыдущего состояния или нужно что-то ещё?

Измененные файлы у нас есть в backup-dir, список новых файлов, которые нужно удалить - есть. Остается восстановить права и время модификации каталогов. А откуда их взять ?

Или перед rsync нужно затарить дерево каталогов dst, чтоб после удаления его тупо распаковать?

в конфиге sshd

Subsystem       sftp    internal-sftp

Match Group sftponly
  ChrootDirectory %h
  ForceCommand internal-sftp
  PubkeyAuthentication yes
  AllowTcpForwarding no
  PermitTunnel no
  X11Forwarding no
  AuthorizedKeysFile /etc/ssh/authorized_user_keys/%u/authorized_keys

По паролю работает, по ключу - работает.

А вот как добавить/заменить публичный ключ ?

да и пароль хорошо бы уметь менять.

Редактирую 1 файл в vim, выполняю make.

Хочу, чтоб vim не открывал «чужие» файлы с ошибками/предупреждениями.

Идеально, если был бы показан список ошибок и предупреждений только в текущем файле ( из которого сказали make )

Скажите доктор, если я боюсь говорить при кошке, это паранойя ?

Нет, паранойя - это когда боишься сболтнуть лишнего при кошке.

Собственно вопрос - можно ли определить метод запроса (GET/POST) в https без mitm ?

qrator - это легальный mitm ?

С утра что-то странное происходит. То не ответить, то не создать пост.

Либо говорит, что «ошибка выполнения запроса, попробуйте позже», то браузер говорит, что не может выполнить защищенное подключение.

Qrator глючит или isp что-то химичит ?

Следствие субботних приключений http://nag.ru/news/newsline/31825/rkn-v-futlyare.html

заблочить «ревизорро» это пять!

Владелец такого имени указывает в dns любой ненависный ему адрес и ркн его начинает блочить!

Интересно, сколько еще времени будет 3.18 поддеживаться ?

Оно было 3.18.50 когда его объявили EOL, а сейчас уже 3.18.52 !

Может мантейнер забыл что оно EOL ? :)

Есть железяка у которой syslog посылает текст в 1251, а хочется увидеть логи в utf-8

Есть решения?

514 - это овердофига изменений, это уже явно не 3.10, это какой-то мутант!

Интересует к какой ветке ванильных ядер ближе всего сетевой стек этого мутанта. Судя по прототипу nf_ct_iterate_cleanup() это уже >= 3.12

который вынесет это?

Или кто-то из господ модераторов шашкой рубанет.