LINUX.ORG.RU
решено ФорумAdmin

Разработка механизма резервирования виртуальных машин.


1

1

Задумался об автоматизации процесса резервирования виртуальных машин на платформах openvz, kvm. Так как backup HN не требуется то возникает, вполне законное желание, осуществлять перекрестный backup. Особенно если учесть, что винчестеры нынче дешевые, да и raid обычно нулевой используется. Процесс резервирования видится следующим: Имеется два компонента Сервер и Клиент. Сервер выполняет процесс резервирования для виртуальных машин которые на нем хостятся. В зависимости от типа виртуализации процесс резервирования может отличаться, соответственно должны использоваться утилиты предоставленные авторами механизма виртуализации, либо инструмент который пожелает использовать администратор. После того как процесс снятия резервных копий окончен, сервер рассылает(клиентам) уведомления, после чего клиенты осуществляют процедуру выгрузки копий зарезервированных на сервере виртуальных машин. Также клиенты должны с определенной периодичностью проверять наличие последних обновлений доступных на сервере. Таким образом решается проблема потерявшихся в пути уведомлений. По истечении таймаута клиент самостоятельно спросит сервер и выгрузит последние копии машин. Понятие Клиент и Сервер существуют в рамках одной сессии передачи данных, так как для одних VPS, HW является клиентам(выгружая их с другой машины) для других сервером(предоставляя свои ресурсы гостям). В случае если в дальнейшем появиться желание выделить отдельный сервер для хранения резервных копий, будет достаточно обозначить его как клиента для всех VPS.

Примечания: Уведомления должны передаваться не только в рамках одной широковещательной сети. Гарантии что промежуточные маршрутизаторы поддерживают multicast также нет. Механизм передачи должен позволять контролировать использование пропускной способности сети, на стадии старта Имеется Архив. В него складываются данные которые снимаются единожды и в дальнейшем не требуют обновления. Должна присутствовать возможность сказать клиенту, что он хранит архив, который он самостоятельно синхронизирует согласно представленной выше схеме.

Прошу читателей покритиковать предложенную схему backup. Также если вы знаете об инструментах которые полностью или частично реализуют необходимый функционал, прошу указать их.

На данный момент видятся следующие задачи: Передача файлов между несколькими ВМ, с проверкой контрольных сумм Запус задачи начала процесса резервирования по графику Рассылка и прием notify сообщений

Премного благодарен за любую критику и наводку на инструменты.

да и raid обычно нулевой используется

Дальше не читал.

И вообще, что курил автор?

zgen ★★★★★
()

Не совсем понял что ты делаешь и что там за сервер, но зачем же всё через один узел гонять?

Если все машины видят друг друга то роль «сервера» просто засунуть в кроны машин одну запись «сделать бэкап». Если одна из машин сдохнет то процедуру повтороить.

А логи пущай по почте летают.

true_admin ★★★★★
()

Особенно если учесть, что винчестеры нынче дешевые

Подскажи где нынче винчестеры дешовые?

Trashman
()

винчестеры нынче дешевые

raid обычно нулевой используется

Критика тебе судя по всемк не поможет, к тому же вся твоя задача - несколько скриптов средней степени сложности. Если не можете их написать, тов. Кучмин, то лучше бы вам сменить поле деятельности.

Издательство АнонимусДейли. Пишем недосказанное. Спасаем ваш скор. Каждый день.

anonymous
()

Ну раз диски дешевые купи SAN с двойным дублированием изкоробки, подключили через оптики/инфинибэнд серверы и крути на них виртуалки с SAN.

Профит!

Вообще обычно в сервере самая дорогая часть как раз диски, если конечно у тебя там не десктопный SATAII на 5400 оборотов без корзинок.

xpahos ★★★★★
()
Ответ на: комментарий от xpahos

Вообще обычно в сервере самая дорогая часть как раз диски

не стоит так обобщать. Хотя бы потому что большинство серваков с дисками именно с десктопными (=SATA) венниками.

true_admin ★★★★★
()
Ответ на: комментарий от true_admin

не стоит так обобщать. Хотя бы потому что большинство серваков с дисками именно с десктопными (=SATA) венниками.

Не помню как это называется параметр, в общем на Seagate жестких дисках есть определенная зареджка, которая не позволяет десктопные диски выстроить в 0+1/5 и диски просто сами исчезают из массива, при этом никаких проблем SMART не показывает, но контроллер упорно не видит эти диски. Опробовано было на HP SmartArray(не помню чей чип, скорее всего LSI), LSI, 3Ware и везде нужно было либо прошивать диски с потерей гарантии, либо менять на серверный вариант.

xpahos ★★★★★
()
Ответ на: комментарий от xpahos

Эта задержка называетя Error Recovery Control и управляется через smartctl для нормальных венников (все мои wd оттюнились и, по-моему, seagate тоже). О какой перепрошивке ты говоришь не понимаю, уже есть альтернативные прошивки для венников?

Это помимо того что если в сервере не 100500 дисков хардварные рейды перфоманса не добавляют (как и удобства, имхо), поэтому я их успешно не использую. Если нужен перформанс то ssd во все поля, жаль только что прозрачное кэширование только zfs умеет.

3Ware

тоже были проблемы, я от него отказался где только смог.

true_admin ★★★★★
()
Ответ на: комментарий от true_admin

Эта задержка называетя Error Recovery Control и управляется через smartctl для нормальных венников (все мои wd оттюнились и, по-моему, seagate тоже). О какой перепрошивке ты говоришь не понимаю, уже есть альтернативные прошивки для венников?

smartctl работает только после загрузки ОС, а нужно было править его до инициализации контроллера. Были просто дешевые модели серверов, которые шли без контроллеров и никто не глянул что там за диски. В итоге поставщик предлагал прошить диски, но я как-то не вдавался в подробности, т.к. эти пошли в старые серверы без контроллеров, а туда поставили контроллер и нормальные диски.

Это помимо того что если в сервере не 100500 дисков хардварные рейды перфоманса не добавляют (как и удобства, имхо), поэтому я их успешно не использую. Если нужен перформанс то ssd во все поля, жаль только что прозрачное кэширование только zfs умеет.

ну да, write back там нет и вообще батарейку с кэшом на контроллер вешают ради прикола.

тоже были проблемы, я от него отказался где только смог.

как раз с рейдовыми дисками проблем никогда не было. Ни с прошивкой, ни с утилитами для работы с рейдом. А вот SmartArray после настройки через SmartStart затер mbr. Но самыми говнистыми оказались адаптеки ибо либо сгорели, либо утилиты во FreeBSD просто не видели контроллер. А вот 3Ware на 6 Гб 24х портовые без экспандера на SSD SATA III вполне себе ок.

xpahos ★★★★★
()
Ответ на: комментарий от xpahos

smartctl работает только после загрузки ОС

это надо выставить только раз и оно будет работать всегда т.к. винт запоминает настройки.

ну да, write back там нет и вообще батарейку с кэшом на контроллер вешают ради прикола.

UPS (если уж так критично) + vm.dirty_background_ratio порвут любой рейд, я проверял.

true_admin ★★★★★
()
Ответ на: комментарий от xpahos

А вот 3Ware на 6 Гб 24х портовые

Ну на таких железках действительно диски стоят прилично. Но такие конфиги редкость.

true_admin ★★★★★
()
Ответ на: комментарий от true_admin

это надо выставить только раз и оно будет работать всегда т.к. винт запоминает настройки.

ну может у нас какие-то особенные диски были. При том на части вообще не выставлялось.

UPS (если уж так критично) + vm.dirty_background_ratio порвут любой рейд, я проверял.

хорошо, хорошо :) Пусть будет так.

xpahos ★★★★★
()
Ответ на: комментарий от true_admin

Ну на таких железках действительно диски стоят прилично. Но такие конфиги редкость.

Штук пять таких наберется и 16 дисковых 3 штуки. У нас даж Opteron 12 ядерные появились до офф начала продаж в России ^_^

xpahos ★★★★★
()
Ответ на: комментарий от true_admin

тоже были проблемы, я от него отказался где только смог.

Какого рода были проблемы?

zgen ★★★★★
()
Ответ на: комментарий от petav

Ну ты сравнил. У тебя четко описаны цели и возможности, у него - адский поток сознания конкретно накурившегося человека.

zgen ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.