LINUX.ORG.RU

HP BladeSystem p-Class (часть 3 или немного магии)

 ,


1

2

Доброй ночи, сообщество!

Сегодня мне захотелось продолжить серию постов про HP BladeSystem p-Class, начатую почти что год назад.

Ссылка на часть №1 от 17.10.2017: HP BladeSystem p-Class (а также аттракцион невиданной щедрости)

Ссылка на часть №2 от 23.06.2018: HP BladeSystem p-Class (часть 2)

Как некоторые здесь помнят, давным-давно я успешно выменял шасси, блоки питания, патч-панели, а также целую кучу лезвий, поставил их в стойку, пообещал поделиться мощностями с сообществом, многие мне писали и интересовались... Но, не сложилось. Лезвия вели себя странно, не запускались, а даже если запускались, то после перезагрузки умирали. Мне, признаться, было очень неудобно перед людьми за мое обещание... Спустя время я переехал в другую страну, перевез с собой сервера (даже не спрашивайте, зачем), нашел новые, более современные лезвия, поставил в стойку и они заработали... Ну как заработали... На большую часть мне все еще не хватает процессоров и памяти, но они уже в пути и весьма скоро я планирую собрать кластер и сдержать обещание, данное давным-давно.

Но вот что интересно. Вчера почему-то у меня появилась навязчивая идея попробовать еще раз со старенькими BL35p. Было много работы и добрался я до них только сегодня. И они заработали! Т.е. да, я просто вставил 4 лезвия в шасси, они запустились и все те проблемы, что имели место быть, более не воспроизводятся! Что это было? Магнитные бури на даче или огромный толстый кабель под баней, который давал страшные наводки? Даже не представляю. Сейчас оставлю их работать, посмотрим, как будут вести себя через 3-5 дней.

Да, я начинаю понемногу разбираться со свичами Cisco GESM, перепрошил их последней IOS, сбросил настройки. Но вот беда. Сейчас у меня нет обычного медного свича, только роутер MikroTik hEX, на котором всего 5 Ethernet-портов. Появилась идея купить на eBay пару Cisco Catalyst 3750, собрать их них стек и оптикой подключить к Cisco GESM. Что думаете? Стоят они копейки и каких-то явных подводных камней я здесь не вижу.

Также хотел спросить про кластеризацию. Кластер буду собирать на Windows Hyper-V, он требует AD-DS, который, в свою очередь, требует наличия DNS-сервера. Последний у меня реализован на BIND и использовать встроенный в Windows DNS я не хочу, ибо пользуюсь динамическим обновлением записей из MikroTik DHCP в BIND DNS. Кто имел опыт развертывания AD-DS с DNS-сервером на BIND - поделитесь, как оно прошло и как работало? Нормальная ли идея?

Ну и, традиционно, надеюсь, что в ближайшее время смогу сдержать свое обещание. Времени на проект мало, но я его не забросил.

Всем удачи!

PS - timdorohin, помнится, ты хотел Minetest-сервер поднять для ЛОР-а. Все еще актуально? Давай дам root на BL35p? Заодно протестируем стабильность и производительность.

>>> Просмотр (4032x3024, 2675 Kb)



Проверено: jollheef ()
Последнее исправление: ravdinve (всего исправлений: 7)

Ответ на: комментарий от ravdinve

Какая-то хрень - пакман качает то 200кБ/с то 20мБ/с...

timdorohin ★★★★
()

Кто сидит на 192.168.1.1 и долбит в ssh?

Sep 05 20:33:46 hp-bl35p-1 sshd[1147]: Did not receive identification string from 192.168.1.1 port 51732
Sep 05 20:33:16 hp-bl35p-1 sshd[1146]: Did not receive identification string from 192.168.1.1 port 51581
Sep 05 20:32:46 hp-bl35p-1 sshd[1145]: Did not receive identification string from 192.168.1.1 port 51403

--------------тут было тоже самое--------------

Sep 05 20:14:46 hp-bl35p-1 sshd[907]: Did not receive identification string from 192.168.1.1 port 45931
Sep 05 20:14:16 hp-bl35p-1 sshd[447]: Did not receive identification string from 192.168.1.1 port 45784
Sep 05 20:13:46 hp-bl35p-1 sshd[431]: Did not receive identification string from 192.168.1.1 port 45632
timdorohin ★★★★
()
Последнее исправление: timdorohin (всего исправлений: 1)

я только счас допер что vpn у меня поднялся на всю машину сразу и я оказывается третий час «сижу из литвы» ))))

Надеюсь ты меня простишь, вышло случайна

timdorohin ★★★★
()
Ответ на: комментарий от timdorohin

Надеюсь ты меня простишь, вышло случайна

Так сиди, у меня канал широченный.

ravdinve
() автор топика
Ответ на: комментарий от timdorohin

Кто сидит на 192.168.1.1 и долбит в ssh?

Это dude на MikroTik-е, все нормально!

ravdinve
() автор топика
Ответ на: комментарий от l0stparadise

Я ткнусь в фб? А то лорчат не слишком удобный :)

Всегда пожалуйста!

ravdinve
() автор топика
Ответ на: комментарий от ravdinve
[root@hp-bl35p-1 lor]# systemctl status minetest@lor
* minetest@lor.service - Minetest multiplayer server w/ lor.conf server config
   Loaded: loaded (/usr/lib/systemd/system/minetest@.service; disabled; vendor preset: disabled)
   Active: active (running) since Wed 2018-09-05 20:52:26 EEST; 2h 4min ago
 Main PID: 1246 (minetestserver)
    Tasks: 5 (limit: 4915)
   Memory: 133.9M
   CGroup: /system.slice/system-minetest.slice/minetest@lor.service
           `-1246 /usr/bin/minetestserver --config /etc/minetest/lor.conf --map-dir /var/lib/minetest/lor/

Sep 05 20:52:27 hp-bl35p-1 minetestserver[1246]: |__|_|  /__|___|  /\___  >__|  \___  >____  > |__|
Sep 05 20:52:27 hp-bl35p-1 minetestserver[1246]:       \/        \/     \/          \/     \/
Sep 05 20:52:27 hp-bl35p-1 minetestserver[1246]: 2018-09-05 20:52:27: ACTION[Main]: World at [/var/lib/minetest/lor/]
Sep 05 20:52:27 hp-bl35p-1 minetestserver[1246]: 2018-09-05 20:52:27: ACTION[Main]: Server for gameid="minetest" listening on 0.0.0.0:30000.
Sep 05 20:52:48 hp-bl35p-1 minetestserver[1246]: 2018-09-05 20:52:48: ACTION[Server]: tim [192.168.1.1] joins game.
Sep 05 20:52:48 hp-bl35p-1 minetestserver[1246]: 2018-09-05 20:52:48: ACTION[Server]: tim joins game. List of players: tim
Sep 05 20:54:56 hp-bl35p-1 minetestserver[1246]: 2018-09-05 20:54:56: ACTION[Server]: tim leaves game. List of players:
Sep 05 21:25:31 hp-bl35p-1 minetestserver[1246]: 2018-09-05 21:25:31: ACTION[Server]: tim [192.168.1.1] joins game.
Sep 05 21:25:31 hp-bl35p-1 minetestserver[1246]: 2018-09-05 21:25:31: ACTION[Server]: tim joins game. List of players: tim
Sep 05 21:27:38 hp-bl35p-1 minetestserver[1246]: 2018-09-05 21:27:38: ACTION[Server]: tim leaves game. List of players:

А он падал?

Там пока нет модов, я привожу свою коллекцию в порядок (научился использовать git submodule), но сервак робить должен пока.

timdorohin ★★★★
()
Ответ на: комментарий от ravdinve

Кстати, я снова взялся за луа и начал писать мод, который будет выдывать статистику сервера по http

Чтоб всем было удобно и для няшных плашек со статистикой на основном сайте.

timdorohin ★★★★
()
Ответ на: комментарий от timdorohin

Там пока нет модов, я привожу свою коллекцию в порядок (научился использовать git submodule), но сервак робить должен пока.

Какой порт пробросить? 30 000?

ravdinve
() автор топика
Ответ на: комментарий от timdorohin

Кстати, я снова взялся за луа и начал писать мод, который будет выдывать статистику сервера по http

Чтоб всем было удобно и для няшных плашек со статистикой на основном сайте.

Здорово! Очень жду! Как по производительности?

ravdinve
() автор топика
Ответ на: комментарий от ravdinve

Сервер справляется, даже ничего так. На всякий случай пробрось-ка еще какой-то TCP в дополнение к 30000 UDP - для того чтоб данные статистики можно было вытянуть.

Восьмидесятый не надо, боты долбиться будут...

timdorohin ★★★★
()
Последнее исправление: timdorohin (всего исправлений: 1)
Ответ на: комментарий от timdorohin

Сервер справляется, даже ничего так. На всякий случай пробрось-ка еще какой-то TCP в дополнение к 30000 UDP - для того чтоб данные статистики можно было вытянуть.

Пробросил 30000/TCP и 30080/TCP на 88.119.150.86.

ravdinve
() автор топика
Ответ на: комментарий от ravdinve

Часа два отсутствовал, а так уже разобрался с гитом...

Заношу в гит патчи, что локально делал...

timdorohin ★★★★
()
Ответ на: комментарий от ravdinve

Можешь купить Nexus-ы. Там можно VPC делать (виртуальный канал из портов на разных устройствах). Только стоят они наверное дороже 3750.

Rubystar ★★
()
Ответ на: комментарий от Rubystar

Можешь купить Nexus-ы. Там можно VPC делать (виртуальный канал из портов на разных устройствах). Только стоят они наверное дороже 3750.

Cisco Catalyst 3750 поддерживает Cross-Stack EtherChannel, думаю это тоже самое? Вариация на тему MC-LAG же?

ravdinve
() автор топика
Ответ на: комментарий от timdorohin

сервера уже где-то час как нормально запущены

Сборки работают

Багов пока не нашел...

Здорово! Я на выходные в Палангу, на конференцию кальянщиков, а потом вернусь и поиграю с вами :).

ravdinve
() автор топика
Ответ на: комментарий от timdorohin

Очень смелое заявление) Опять будут полтора человека...

Так наберется, со временем, аудитория :).

ravdinve
() автор топика
Ответ на: комментарий от ravdinve

Сорян, пока нет. Командировка внезапно нарисовалась, до четверга не то что серверов, интернета толком нет, гостичный wifi даже вот эту страницу с третьего раза загрузил :D

l0stparadise ★★★★★
()
Ответ на: комментарий от l0stparadise

Сорян, пока нет. Командировка внезапно нарисовалась, до четверга не то что серверов, интернета толком нет, гостичный wifi даже вот эту страницу с третьего раза загрузил :D

О как! А то я смотрю он уже неделю пытается в PXE грузиться.

ravdinve
() автор топика

Elmer_, привет! Ты в прошлой теме писал, что хочешь сделать HTTP, SOCKS5 и MTProto прокси, все еще интересно? Есть одно лезвие на AMD Opteron 240, диски в него со для на день должны приехать.

ravdinve
() автор топика
Последнее исправление: ravdinve (всего исправлений: 1)
Ответ на: комментарий от Elmer_

конечно интересно,пиши в тг

Лучше ты ко мне в Facebook, ссылка в профиле. Telegram я не использую.

ravdinve
() автор топика
Ответ на: комментарий от ravdinve

Да я тут подумал... У меня за время от твоего второго поста к третьему появился нормальный OVH дедик,и мне уже не особо нужны ресурсы на твоем сервере. Лучше отдай эти ресурсы кому нибудь другому,тому кто что нибудь интересное замутить может.

Elmer_
()
Ответ на: комментарий от timdorohin

Что за внезапные ребуты были? Что вообще происходило?

Свет выключали, какие-то работы на линии... Впервые за год такое. Не думаю, что повторится.

ravdinve
() автор топика
Ответ на: комментарий от timdorohin

Напомни, пожалуйста, какие порты проброшены.

И если 30000 TCP (в дополнение к UDP) не проброшен, пробрось его, пожалуйста. Я таки допилил мониторинг http://mtstat.us.openode.io

Сейчас проброшен 30000/TCP и 30000/UDP.

ravdinve
() автор топика
Ответ на: комментарий от ravdinve

У мене танцi з конями продолжаются какие-то. Сервак, кажется, не виден из инстанса ноды...

О, пошли, только с провалами дикими.

timdorohin ★★★★
()
Последнее исправление: timdorohin (всего исправлений: 1)
Ответ на: комментарий от timdorohin

У мене танцi з конями продолжаются какие-то. Сервак, кажется, не виден из инстанса ноды...

О, пошли, только с провалами дикими.

Ну как успехи? Чем-то могу помочь?

ravdinve
() автор топика
Ответ на: комментарий от ravdinve

Все заработало. Можешь заценить тут: http://mtstat.us.openode.io/test.minetestserver.ga:30000

На основной пока накатываю.

Основной мониторится тут: http://mtstat.us.openode.io/lor.minetestserver.ga:30000

timdorohin ★★★★
()
Последнее исправление: timdorohin (всего исправлений: 1)
Ответ на: комментарий от ravdinve

Меня больше пугает max_lag, сервер же пустой, что там вообще происходит во имя всего святого!?

timdorohin ★★★★
()
Ответ на: комментарий от ravdinve

Слушай, там это...

[   15.361843] cpufreq_schedutil: sugov_kthread_create: failed to set SCHED_DEADLINE
[   15.361844] cpufreq_schedutil: initialization failed (error -22)
[   15.362008] cpufreq: cpufreq_online: Failed to initialize policy for cpu: 3 (-22)
Что на linux-pf что на стоковом, судя по гуглу лечится лазанием в биос и верчением настроек cool'n'quiet. Из iLO в биос безопасно заходить? Не вырубится так, что придется вручную перезагружать?

timdorohin ★★★★
()
Ответ на: комментарий от timdorohin

Из iLO в биос безопасно заходить? Не вырубится так, что придется вручную перезагружать?

Да, вполне безопасно, там с питанием все нормально теперь, можно перезагружать, даже выключать, все хорошо. Я думаю что дело было в блоках питания, сейчас стоит два и все хорошо, подозреваю один из четырех оставшихся - проблемный.

ravdinve
() автор топика
Ответ на: комментарий от ravdinve

Поковырял что мог. Удалось лишь понизить частоту до 1.8 ГГц случайно, потом вернул взад. Оно матюгается да и хрен с ним, даже официальные доки HP говорят «забейте»

Мимоходом увител что кеш дисков был отключен (а так вообще можно было !?), включил, на что биос матюгнулся и сказал чтоб не винили если данные просрутся.

Сижу, думаю, может еще отключить защиту от спекта v1 и v2? Нафи он нам там...

timdorohin ★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.