Виртуализация. Как извлечь данные из кластера, если одна из двух нод недоступна?

1. Сделай полный бэкап всего, да как-нибудь так, чтобы ты его не запорол
2. Если хочешь, чтобы сеть работала, чини сеть
3. Если хочешь узнать, как монтировать разделы изнутри raw-образов — почитай про это
4. Если хочешь конкретики, спрашивай конкретику

А то пока «памагити, у меня пять детей голодных, спустило шину. Оно и понятно, из неё гвоздь торчит вот-такенный, но вопрос не в этом. Как открутить гайки, на которых радиатор крепится, а то они заржавели че-то?».

У меня на двух нодах используется один и тот же виртуальный диск (судя по названию). Если я скачаю образы с обеих нод, как мне объединить их в полноценный или чем-то открыть, чтобы извлечь данные?

Обратись к системному администоатору, не надо самому.

У тебя ноды зеркальные, зачем тебе «объединять диск». Стащи его с любой ноды и работай с ним. Даже если они успели уйти в рассинхрон - ничего страшного, всё равно у тебя база битая из за некорректного выключения и её нужно восстанавливать будет. А «объединяя диск» ты рискуешь их оба два запороть, даже если найдёшь способ это сделать.

Я он и есть. Раньше не работал с кластерами. Но вот, случилось

Сочувствую работодателю.

Скажи пожалуйста, чем мне посмотреть содержимое этого RAW образа? К сожалению, я не могу переместить его на другой сервер, такого просто нет.

RAW на то и RAW, формат и файловая система внутри может быть абсолютно любая. Тут надо спрашивать у того кто всё это поднимал, или изучать конфиги монтирующей это виртуалки.

Виртуалка говорит что формат LVM. Сервак обслуживает одна компания, но у них не осталось тех, кто его в своё время настраивал и что теперь делать, они не знают. Бэкапы как оказалось сохранялись прям на кластер, который теперь недоступен

В качестве виртуалки используется Proxmox Virtual Environment (PVE).

Ну для начала его нужно забекапить. А смотреть: https://www.linuxunbound.com/2016/07/15/mounting-raw-and-qcow2-images/

Виртуалка говорит что формат LVM

Ну вот, на другой машине монтируй этот RAW как loop device и натрави на него lvmdiskscan

Сервак обслуживает одна компания, но у них не осталось тех, кто его в своё время настраивал и что теперь делать, они не знают.

Что значит «не знают»? Неустойку платить. У вас ведь контракт есть? Неустойки в нём прописаны? Могли бы за свой счёт обратиться в контору по восстановлению данных, если у самих компетенции не хватает, подкиньте им эту идею. «Мы на знаем что делать, у нас лапки...» идиотизм какой то. Засудите их до потери пульса, вы имеете на это полное право.

Бэкапы как оказалось сохранялись прям на кластер, который теперь недоступен

Гениально. «Мама сказала деньги в бидоне».

Образ цепляешь к системе (Linux на твоём ноуте или рабочей машине) через losetup. У тебя появятся loop-устройства, которые уже будет с партициями. И вот оно монтируешь утилитой mount.

https://yandex.ru/search/?text=raw disk losetup mount

А, да, успеха. Не кипеши и не суетись. Сделай копию и работай с копией.

Действительно. Если у них есть действующий контракт на обслуживание этого сервера, то этим не ТС должен заниматься. Хотя бы из соображений, что на него не повесили, что он всё сломал.

К слову, ведь по идее можно всё юридически так грамотно оформить, чтобы нанять сейчас за много денег стороннего спеца на время, а потом заставить горе-подрядчика за всё заплатить.

Хотя конечно не исключено, что контракт был на разовую настройку ПО, а постоянное обслуживание только по железу. Тогда ой, не выйдет ничего.

Нужно найти того, кто сделал «кластер» из двух систем и /дальше неразборчиво/.

Я так понимаю он сейчас бегает в мыле и на него орут «давай давай доставай доставай базу базу прямщас, ты же программист». И в то что этим ващет не он должен заниматься никто не вникает. Надобно бы внятно разъяснить начальству что раз заключён контракт на обслуживание и сопровождение — бегать в мыле и рвать жопу должны исполнители, а не заказчик. И «мы не знаем, мы не можем» это неисполнение условий контракта и дорога в суд. Что тоже следует объяснить менеджменту исполнителя, и подкинуть им идею — нанять тех кто может, и из своего кармана им заплатить. Или прогуляться в суд, обрести репутационные потери и потерять клиента.

Параллельно админ может и должен своими силами образ ковырять конечно, но желательно донести мысль что это добровольная инициатива, а не функциональная обязанность, и орать и давить не следует, так же как и карать в случае провала.

Да, тут вся хрень из-за фактора времени. Интересно, а есть ли в принципе дорогая «скорая помощь» с по-настоящему грамотными админами? Чтобы типа заплатил прямо сейчас тонну денег — и тебе ASAP прибудет на площадку или подключится удаленно мега-спец, что всё разрулит?

Про дорогую я пишу потому, что такое точно не будет дешевым, это уже вообще из области фантастики.

Задача на самом деле несложная если понимать что там произошло и как это починить (по сути достаточно просто починить коросинк и оно всё само должно собрать).

Спасибо за ответы и сочувствие! Больница закрылась, выгнали. Завтра буду пробовать.

Из дома создам тему в хардварной ветке про сервер, может кто поможет восстановить сеть и это решило бы проблему.

По поводу нашего саппорта - как есть..

Я так понимаю там что то аппаратное накрылось и ремонту подлежит сама железка.

Я не в теме, но mount, offset и -t ? Может сначала раздел за’dd’шить и каким-нить fsck прогнать?

Вот он сам пишет - «оно и понятно, первый хост не видит второй, т.к. между ними пропала сеть (я могу зайти на любую из нод)» - то есть сеть у него есть, просто у него настройки кластерной сети походу слетели.

Да у него вообще каша. В одной куче блейды, альт, проксмокс, кластер из двух участников и прочие кони. Чел небось не знает что такое «блейд», не говоря уже про остальное.

Как выглядит проблема с аппаратной стороны: AQUARIUS SERVER N90 X60. Перестала работать сеть.

Сломалась одна нода, и лег весь кластер?
Это какой-то очень хреновый кластер. Даже менее надежный, чем одна машина.

На блейде перестала работать сеть, в т.ч. коммутация между нодами. Ноды не видят друг друга, а без второй ноды запуск сервера невозможен или, я не знаю как это сделать.

Блейд это. Вот такое у него слабое место, внутренний свитч называется, он не дублирован. Но по хорошему, по правильному, те кто такое эксплуатируют должны это знать и иметь запасной. При наличии резерва весь простой с ремонтом сводится к замене модуля.

А какого модуля? У меня их два. В одном 10 портов, в другом один. Догадываюсь что тот, в котором один? https://ibb.co/GchnZhL

Я конкретно за этот блейд не скажу, я его вживую не видел. Похоже что он... Но во первых у тебя должна быть документация, а во вторых у них у всех есть rs232, я так понимаю это аппаратная консоль, судя по маркировке. Так что я бы поподключался и посмотрел изнутри, как оно там и ваще...

То есть как это не дублирован? В том же HP c7000 два заменяемых свитча (сетевых или FibreChannel). Каждый блэйд втыкается двумя портами в каждый свитч.

Сломаться может midplane, но это значит, что всему шасси кирдык. Оно ломается очень редко, т.к. на нем нет активных элементов, только распайка.

Раз у тебя 2 модуля, на серверах должно быть по 2 сетевых интерфейса минимум (для полноразмерного блейда - 4), объединенных в бондинг, чтобы авария одного модуля никак не влияла.

Кинь вывод команды «ip a s» - что там вообще с сетевыми интерфейсами, есть ли бондинг?

То, что на фото - это все, что у тебя есть? Других модулей нет?

Тогда у тебя всего один сетевой модуль (тот, который горит оранжевым). А тот, в котором всего один порт RJ-45 - это управляющий модуль всего шасси, на него вообще пофиг.

Раз шасси покупали в такой комплектации (с одним модулем вместо двух), значит, простой для этой системы не критичен. Глупо подпрыгивать из-за того, что железка сломалась.

Парни, спасибо вам огромной за помощь и участие! Проблема решена.

Пришел человек, подключился по com`у к управляющему модулю, увидел в консоли его айпи адрес. Мы подключились, ОС сказал что сетевой модуль дохлый. Я добыл несколько USB сетевых карт ( https://i.ibb.co/SrcxQKQ/viber-2023-02-28-20-27-23-743.jpg ), перенастроили бридж и вуаля, кластер заработал, 1С запустилась ;)

Таки время подумать за дешовый и сердитый бэкап сего ынтерпрайза. Чтобы при очередном подземном стуке с ынтерпрайз-сетапом не оказаться у разбитого корыта, да.

Когда сломается SAS’овский модуль, подключит USB-диски :-)

Или для базы данных и 1С вообще достаточно одного невыключаемого PC у бюстгалтерши тети Клавы. Таки что-то поцказывает, что результат будет примерно такой же.

Или для базы данных и 1С вообще достаточно одного невыключаемого PC у бюстгалтерши тети Клавы. Таки что-то поцказывает, что результат будет примерно такой же.

но у гены не было бы яхты )

А у ТС вместо геморроя с блэйдами был бы легкий флирт с отверткой и клавой тети Клавы, да.

Молодец! Повезло, что там просто бридж.

Когда сломается SAS’овский модуль, подключит USB-диски :-)

причем usb 1.1 :) Ну и когда погорят мозги, отправит своп на эти диски :)

А там нет способа временно понизить кворум до одной ноды? И второй сервак отрубить для гарантии чтоб сплит не пошёл.

Ну и кластер из двух нод это не кластер, надёжность ниже чем у одной ноды

Ну и когда погорят мозги,

Чьи?

Я про те которые в сервере, их ещё иногда ОЗУ кличут. А у вас были какие-то другие варианты?