LINUX.ORG.RU

HP BladeSystem p-Class (часть 3 или немного магии)

 ,


1

2

Доброй ночи, сообщество!

Сегодня мне захотелось продолжить серию постов про HP BladeSystem p-Class, начатую почти что год назад.

Ссылка на часть №1 от 17.10.2017: HP BladeSystem p-Class (а также аттракцион невиданной щедрости)

Ссылка на часть №2 от 23.06.2018: HP BladeSystem p-Class (часть 2)

Как некоторые здесь помнят, давным-давно я успешно выменял шасси, блоки питания, патч-панели, а также целую кучу лезвий, поставил их в стойку, пообещал поделиться мощностями с сообществом, многие мне писали и интересовались... Но, не сложилось. Лезвия вели себя странно, не запускались, а даже если запускались, то после перезагрузки умирали. Мне, признаться, было очень неудобно перед людьми за мое обещание... Спустя время я переехал в другую страну, перевез с собой сервера (даже не спрашивайте, зачем), нашел новые, более современные лезвия, поставил в стойку и они заработали... Ну как заработали... На большую часть мне все еще не хватает процессоров и памяти, но они уже в пути и весьма скоро я планирую собрать кластер и сдержать обещание, данное давным-давно.

Но вот что интересно. Вчера почему-то у меня появилась навязчивая идея попробовать еще раз со старенькими BL35p. Было много работы и добрался я до них только сегодня. И они заработали! Т.е. да, я просто вставил 4 лезвия в шасси, они запустились и все те проблемы, что имели место быть, более не воспроизводятся! Что это было? Магнитные бури на даче или огромный толстый кабель под баней, который давал страшные наводки? Даже не представляю. Сейчас оставлю их работать, посмотрим, как будут вести себя через 3-5 дней.

Да, я начинаю понемногу разбираться со свичами Cisco GESM, перепрошил их последней IOS, сбросил настройки. Но вот беда. Сейчас у меня нет обычного медного свича, только роутер MikroTik hEX, на котором всего 5 Ethernet-портов. Появилась идея купить на eBay пару Cisco Catalyst 3750, собрать их них стек и оптикой подключить к Cisco GESM. Что думаете? Стоят они копейки и каких-то явных подводных камней я здесь не вижу.

Также хотел спросить про кластеризацию. Кластер буду собирать на Windows Hyper-V, он требует AD-DS, который, в свою очередь, требует наличия DNS-сервера. Последний у меня реализован на BIND и использовать встроенный в Windows DNS я не хочу, ибо пользуюсь динамическим обновлением записей из MikroTik DHCP в BIND DNS. Кто имел опыт развертывания AD-DS с DNS-сервером на BIND - поделитесь, как оно прошло и как работало? Нормальная ли идея?

Ну и, традиционно, надеюсь, что в ближайшее время смогу сдержать свое обещание. Времени на проект мало, но я его не забросил.

Всем удачи!

PS - timdorohin, помнится, ты хотел Minetest-сервер поднять для ЛОР-а. Все еще актуально? Давай дам root на BL35p? Заодно протестируем стабильность и производительность.

>>> Просмотр (4032x3024, 2675 Kb)



Проверено: jollheef ()
Последнее исправление: ravdinve (всего исправлений: 7)

Ответ на: комментарий от ravdinve

Ну, мя думает ставить Redis в качестве бэкенда, так что скорость дисков влиять не будет (можешь вообще всю систему загружать с флешки на 16 гиг :D)

Да, для сервера нужен UDP 30000, для MTSatellite (приблуда что делает гугл-стайл карту в реальном времени всего серва) какой-то TCP на выбор (например 30001).

timdorohin ★★★★
()
Ответ на: комментарий от timdorohin

Ну, мя думает ставить Redis в качестве бэкенда, так что скорость дисков влиять не будет (можешь вообще всю систему загружать с флешки на 16 гиг :D)

Я могу дать доступ к iLO, если хочешь, но там самая первая версия, придется ставить старую Java и старый Firefox, и медленно будет очень. Хочешь?

ravdinve
() автор топика
Последнее исправление: ravdinve (всего исправлений: 1)
Ответ на: комментарий от ravdinve

Мэээ, ты предлагаешь мне доступ к kvm? Зойчем? Ставить рач?

Алсо а нафига мне старый фокс если iLO апплет вроди запускается после скачивания только?

Я, конечно, только за, поставить pf-kernel в раче очень просто (оно уменьшает вдвое-втрое задержку, хотя тестировал я на подкроватном сервере...), там свежее все окружение и вообще все хорошо

Алсо старая джава это 1.6? или еще древнее?

З.Ы. почитал про iLO на вики, кажется я перепутал ило с чем-то другим (хрен его знает, на дедике была такая штука для настройки умеющая в консольку, я оттуда как раз рач ставил на сервак)

timdorohin ★★★★
()
Последнее исправление: timdorohin (всего исправлений: 1)
Ответ на: комментарий от timdorohin

iLO - это система удаленного управления сервером. KVM, можно смонтировать ISO-образ, установить ОС, в общем тоже самое, что ты бы клавиатуру с мышью подключил. Я ставил Java и Firefox старый, работало, но очень медленно, в плане доступа к диску с образом ОС, могу потом посмотреть нужные тебе версии, чтоб ты не мудрил. Часа три-четыре будешь устанавливать свой arch, но зато сделаешь, как нужно тебе ;).

Как-то так выглядит: https://melrulz.files.wordpress.com/2012/04/screen14.jpg

ravdinve
() автор топика
Последнее исправление: ravdinve (всего исправлений: 1)

Нужен сервер под свободный проект бинарной Gentoo. Две ветки: Stable и Testing, Упор на Hardened, новейшее ПО и максимальный функционал у ПО.

Также в планах установочные скрипты для быстрой развертки и поддержка selinux. Systemd и dracut из коробки.

Deleted
()
Последнее исправление: Deleted (всего исправлений: 2)
Ответ на: комментарий от ravdinve

О, точно такая же хрень на дедике были у cetjs2 (величайшее извращение века, reiser4 на проде!)

А образ там монтируется откель? С компа того, кто подключился к нему?

Арч ставится не с диска, диск только обеспечивает загрузку, за час (а то и меньше) все должно поставится.

Охлол, там же в iLO старые шифры в https, из-за этого ставил старый фокс, да?

timdorohin ★★★★
()
Ответ на: комментарий от timdorohin

А образ там монтируется откель? С компа того, кто подключился к нему?

Да, именно так. Дам тебе доступ по IPsec к моей сети, смонтируешь без проблем.

Охлол, там же в iLO старые шифры в https, из-за этого ставил старый фокс, да?

Да, там шифры старые, кроме того, старая Java в новых браузерах у меня не запустилась никак.

ravdinve
() автор топика
Ответ на: комментарий от Deleted

Нужен сервер под свободный проект бинарной Gentoo. Две ветки: Stable и Testing, Упор на Hardened, новейшее ПО и максимальный функционал у ПО.

Также в планах установочные скрипты для быстрой развертки и поддержка selinux. Systemd и dracut из коробки.

Можно, но попозже. Сейчас два рабочих сервера, но я их уже очень давно ребятам пообещал. Привезу остальные лезвия, вставлю, протестирую, тогда будет отдельный пост в галлерее. Извини, пока никак, подождать придется...

ravdinve
() автор топика
Ответ на: комментарий от Deleted

Open Build Service не подойдет?

P.S: чому гента, чо те рач не подходит, один хрен шо то, шо другое можно собрать

P.P.S: xeon 2660v2 с 30GB памяти, но хреновым инетом и основной доступностью по субботам-воскресеньям не подойдет? (Мамкина рабочая станция, стоит винда и рач, настроены виртуалки, могу пускать на виртуалку когда комп не юзается.)

Или могу пустить на ай7 машину (такой же хреновый инет), 8 гиг памяти, доступность 24 часа (когда-то это было топовым ноутбуком от HP, сейчас - импровизированный блейд)

Говноинет имеет две проблемы - скорость плавает от 10 до 100 мегабит, вечерами почти всегда 10 (а то и меньше), и пинг >500 теперь не редкость. (В Донецке жопа с оптической магистралью)

timdorohin ★★★★
()
Последнее исправление: timdorohin (всего исправлений: 1)
Ответ на: комментарий от timdorohin

Говноинет имеет две проблемы - скорость плавает от 10 до 100 мегабит, вечерами почти всегда 10 (а то и меньше), и пинг >500 теперь не редкость. (В Донецке жопа с оптической магистралью)

Какой жуткий кошмар у вас. Здесь 1 000 / 600 работает идеально за какие-то 50 Евро/месяц.

ravdinve
() автор топика
Ответ на: комментарий от timdorohin

величайшее извращение века, reiser4 на проде

А как ты думаешь, что хуже: r4 на проде или btrfs на проде?

/мимокрокодил со своим подкроватным недопродом (да-да, им пользуются люди, так что формально прод!)

intelfx ★★★★★
()
Последнее исправление: intelfx (всего исправлений: 2)

Кстати, ravdinve, с интересом читаю о твоих приключениях :) Я бы тоже зареквестил у тебя лезвие для всяких сборочных дел (у меня мечта идиота — собрать весь AUR), но, кажется, к тому моменту, как я допишу распределённый сборщик, этих лезвий уже пару лет как не будет существовать.

intelfx ★★★★★
()
Последнее исправление: intelfx (всего исправлений: 1)
Ответ на: комментарий от intelfx

Кстати, ravdinve, с интересом читаю о твоих приключениях :)

Приятно, что 3,5 задротам (не в обиду, я ведь такой же) с ЛОРа интересно читать о моих приключениях :). Без сарказма, правда приятно :). Не зря пишу, значит :).

Я бы тоже зареквестил у тебя лезвие для всяких сборочных дел (у меня мечта идиота — собрать весь AUR), но, кажется, к тому моменту, как я допишу распределённый сборщик, этих лезвий уже пару лет как не будет существовать.

Можно. Я планирую съездить и забрать еще одно шасси (да, у меня их аж два) и оставшиеся лезвия, т.ч. почему бы и нет? Вот только сколько оно собираться будет? Год :)? Что ты имеешь ввиду под распределенным? Многопоточный или ты хочешь набрать кучу серверов и все собрать на них разом, а-ля BOINC?

Кстати, почему ты свой Home Lab никогда не постил в галлерее? Мне интересно еще с тех пор, как в твой профиль заглянул.

ravdinve
() автор топика
Последнее исправление: ravdinve (всего исправлений: 1)
Ответ на: комментарий от ravdinve

Вот только сколько оно собираться будет? Год :)?

Примерно так, потому и

хочешь набрать кучу серверов и все собрать на них разом, а-ля BOINC?

...скорее вот это, да.

Кстати, почему ты свой Home Lab никогда не постил в галлерее? Мне интересно еще с тех пор, как в твой профиль заглянул.

Потому что когда я говорю «подкроватный сервер», я практически не утрирую. У меня нет своей квартиры, мой home lab — это кухонный стол и полка в шкафу очередной съёмной однушки.

intelfx ★★★★★
()
Последнее исправление: intelfx (всего исправлений: 1)
Ответ на: комментарий от timdorohin

r4 намного шустрее

У меня вот примерно обратный опыт. r4 — это «каждый fsync() — неповторимое и незабываемое приключение».

intelfx ★★★★★
()
Последнее исправление: intelfx (всего исправлений: 1)
Ответ на: комментарий от intelfx

Потому что когда я говорю «подкроватный», я практически не утрирую. У меня нет своей квартиры, мой home lab — это кухонный стол и полка в шкафу очередной съёмной однушки.

Ну, у меня теперь тоже нет своей квартиры, продал все ;). Т.ч. выкладывай, будет интересно ;).

ravdinve
() автор топика
Ответ на: комментарий от ravdinve

reiser4 и btrfs. Файловые системы такие. Обе экспериментальные и жутко нестабильные (по меркам продакшена).

intelfx ★★★★★
()
Ответ на: комментарий от timdorohin

ie11 и java 6 подойдут для iLO? или что древнее надо?

Хрюшку с шестым эксплодером и пятую жабу?

Отвечу завтра, я точно не помню. Но по памяти - Java 6 и Firefox какой-то. На IE 11 точно не работало.

ravdinve
() автор топика
Ответ на: комментарий от ravdinve

Такое себе.

Я дома практически не появляюсь. Большинство хоть как-то прикольного железа лежит в шкафу, работаю с лаптопа за кухонным столом либо на диване, а мой «серверный сетап» — это китайский роутер (теперь вот ещё китайский ONT на гвоздике у входа), обезглавленный старый лаптоп плюс коробка на четыре диска, упрятанные за ЖК-телевизор, потому что первый найденный HDMI-кабель оказался слишком коротким (и потому что мне больно смотреть на кое-как свёрнутый ворох проводов). А, ну и витая лапша на полу от входа до роутера, потому что я всё равно больше года на одном месте не сижу, нет смысла заморачиваться с кабель-каналами и наводить красоту.

Короче, жалкое зрелище, просто забей :)

intelfx ★★★★★
()
Последнее исправление: intelfx (всего исправлений: 3)
Ответ на: комментарий от timdorohin

И БД тоже на r4? Вот это точно максимальное извращение, btrfs (с NOCOW) будет в десять раз лучше (хотя тоже абсолютное говно).

intelfx ★★★★★
()
Последнее исправление: intelfx (всего исправлений: 1)
Ответ на: комментарий от timdorohin

lol, неужто ie11 недостаточно старый?

Стой, IE 11 по-умолчанию в Windows 10 стоит? Или там что-то более новое?

ravdinve
() автор топика
Ответ на: комментарий от intelfx

Там Edge.

Еще и IE есть, точно уверен. Да, 11-я версия там. Она точно не подойдет. Думаю, iLO ждет чего-то а-ля IE 6. Т.ч. Firefox ставить придется.

ravdinve
() автор топика
Ответ на: комментарий от intelfx

btrfs на hdd сливает даже ntfs-3g

mariadb нормально себя чувствует

timdorohin ★★★★
()
Ответ на: комментарий от timdorohin

включить старые шифры в настроках осла не помогает?

По-моему еще и на JavaScript он ругался. Можешь попробовать, я не помню точно.

ravdinve
() автор топика
Ответ на: комментарий от ravdinve

Литва

Как человек, родившийся в Литве, поздравляю топикстартера с переездом в эту страну. Надеюсь, что ему в Литве понравится.

bitchevar
()

Кто имел опыт развертывания AD-DS с DNS-сервером на BIND - поделитесь, как оно прошло и как работало?

я в своем офисе развернул эту хрень в 2010 году, дожила до 2017. но это было на вын 2008. устанете настраивать самбу и керберос. если хочется рабочего решения - лучше развернуть днс на вин, и настроить форвардинг на ваш роутер, по дхцп раздавать виндовый днс. Это работает сразу и коробки, все-таки у вас задача немного другая, т.е. не поебаца с ад и самбой, а гипер-в развернуть правильно.

pumpurumer
()

Недождался

Хохмы ради поставил арч на восьмигиговую флешку, воткнул в импровизированный сервер из старого ноута и поставил там redis и minetest, повесил на домен test.minetestserver.ga

Пока обкатываю конфигурацию.

timdorohin ★★★★
()
Последнее исправление: timdorohin (всего исправлений: 1)
Ответ на: комментарий от timdorohin

Таки тормозит. Даже по локалке :(

Дружище, я никуда не пропал, Интернет оплатил, завтра он должен заработать ;). Мне время от времени приходится за бармена в своем баре работать, выматывает ужасно, вот и ничего не успеваю. Думаю, что завтра до 12 дня тебе все пришлю. Специально в 8 утра встать планирую. Хотел уточнить, а какой-то сайт к серверу делать будешь? 80-й порт нужен?

ravdinve
() автор топика
Последнее исправление: ravdinve (всего исправлений: 1)
Ответ на: комментарий от ravdinve

Да знаю я, никуда не тороплю, всего-лишь сказал что начал тестировать сборку (и вручную переписывать моды, мля, сколько в них говнокода, хоть стой хоть падай) на системе близкой к «боевой» (4 ведра 8 гигов)

Насчет сайта вопрос такой себе, у меня есть хостинг, еще можно на github pages сделать страничку (заодно и баг-трекер! И моды в гите! Уии!)

Вот только хочется еще присобачить MTSatellite, но тут порт 80 необязателен. Вот как это выглядит на сервере авторов проекта.

А, знаешь что меня пугает? AMD Opteron 280 vs Intel Core i7-2630QM, при этом майнтест т-т-тормоз-з-зит-т на втором. Quoi pour conneries!?, пардоньте мой французский.

timdorohin ★★★★
()
Ответ на: комментарий от timdorohin

Вот только хочется еще присобачить MTSatellite, но тут порт 80 необязателен. Вот как это выглядит на сервере авторов проекта.

Выглядит круто, кстати.

А, знаешь что меня пугает? AMD Opteron 280 vs Intel Core i7-2630QM, при этом майнтест т-т-тормоз-з-зит-т на втором. Quoi pour conneries!?, пардоньте мой французский.

Ну, посмотрим, что получится, самому интересно. Я как-то Minecraft-сервер запускал на Core Duo и 2 ГБ оперативной памяти, все работало like a charm. А Minetest, насколько понимаю я, написан на С (или С++, не помню), а значит должен быть лучше оптимизирован. Я не прав?

Я почти уверен, что твой Intel Core i7 2630QM выиграет даже у 2-х AMD Opteron 280 (вот более читабельное сравнение процессоров, кстати: http://cpuboss.com/cpus/Intel-Core-i7-2630QM-vs-AMD-Opteron-280), но может тормозит у тебя не из-за CPU? Не думал, что какой-то еще фактор имеется?

К слову, вот еще что вспомнил. Я как-то Minecraft-сервер запустил на сервере с 2-мя Intel Xeon 2.4 GHz, на тех самых, что на архитектуре первых Pentium IV выполнены были. Работал тоже, но уже очень сильно тормозил.

Так вот, к чему я про еще один фактор: у тебя же всего один клиент подключен был к серверу - это ты сам? Если да, то так точно не должно быть.

ravdinve
() автор топика
Последнее исправление: ravdinve (всего исправлений: 3)
Ответ на: комментарий от ravdinve

Ну ХЗ, вся карта лежит в redis (по сути в оперативке), players_backend в sqlite, но там нет нагрузки...

LA около 0.7, iostat показывает свободного (idle) 99%

Если выключить моды с мобами, то все летает даже на атоме, но когда их включаешь... они начинают лагать. Как исправлять вообще не знаю, лагают именно мобы, телепортируются, подвисают и т.д и т.п.

timdorohin ★★★★
()
Ответ на: комментарий от timdorohin

Если выключить моды с мобами, то все летает даже на атоме, но когда их включаешь... они начинают лагать. Как исправлять вообще не знаю, лагают именно мобы, телепортируются, подвисают и т.д и т.п.

У тебя же раньше был сервер? Полагаю, железо там тоже так себе было, как решал?

А какая загрузка процессора, кстати? И какие моды? Напиши список?

И вот что нашел: http://rubukkit.org/threads/nagruzka-servera-majnkraft-na-zhelezo.30568/page-3. Тут относительно Minecraft, правда, но должно помочь понять по ресурсам.

ravdinve
() автор топика
Последнее исправление: ravdinve (всего исправлений: 1)
Ответ на: комментарий от ravdinve

Проц,если считать среднее по ядрам ~5-7%, ни одно не больше 20%

На прошлом серве на атоме из мобов были зомби и курицы, и всем на них было наплевать, но они тоже часто тупили.

timdorohin ★★★★
()
Ответ на: комментарий от timdorohin

Проц,если считать среднее по ядрам ~5-7%, ни одно не больше 20%

Получается, не в процессоре дело... Посмотри, может какой-то мод плохо работает или что еще из этой серии. Тестовый сервер пока работает, кстати? Клиент на macOS бывает?

ravdinve
() автор топика
Ответ на: комментарий от ravdinve

Плохо работает mobs_redo который фреймфорк на основе которого строятся моды с мобами.

Сервер работает, клиент на мaк есть - brew install minetest

timdorohin ★★★★
()
Ответ на: комментарий от timdorohin

По-дефолту так...

Хрен знает, наверняка что-то должно быть... А я проснулся, как и обещал, поеду сейчас сервер тебе делать. Ты в Facebook есть?

ravdinve
() автор топика
Последнее исправление: ravdinve (всего исправлений: 1)
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.