LINUX.ORG.RU
ФорумAdmin

Очередной тред выбора бакапов


2

4

Есть куча ВПСок на Убунту Опенстаке. Встоинных бакапов нет. Можно делать 2 вида снапшотов, онлайн и оффлайн.

Онлайновые могуб быть «inconsistent»? а вырубать ВПС каждую ночь для бакапа, некомильфо. Они не все в кластерах.

Прошлый админ поработал 6 месяцев и свалил. Бакапился rsnapshot, позапрошлый не бакапился вообще. я прикрутила к rsnapshot nagios и оказалось что бакапы не работают. Починять их ручками несложно, но долго и скучно.

R1Soft туда прикручивать неохота. Если бакапиить каждую ВПСку, то надо дохрена лицензий.

Если бакапить сами compute (x3) и сontroller (x1), то нужно будет 4 терабайта минимум.

Минус в том, что если на серве уменьшаеться занятое место, то disk safe все равно остается примерно того же размера. Можно сделать vacuum, но из 800гигов, оно спасет 100 или меньше + фрагментирует диск сейф.

В общем, чем бакапиться сферический линуксоид-админ в вакууме?

Плюсы: - Нужно что бы открывалась страничка в браузере с отчетом всех бакапов / отсылала отчет на мыло. Сейчас это делает nagios, но не сисадмин дальше не будет знать где копать без чтения документации, а профиксить бакап темболее не сможет.

- Мега плюс если не сисадмин сможет ею пользоваться (насяльника, кодеры, QA и т.д.), не думаю что задержусь тут больше года, а с нормальными админами им не везет.

Ах да, кто у какого хостера хостится?

Ракспейс малость задолбал. Примерно раз в месяц отваливается какаянить железяка, а на почин уходит 1-2 часа. Это в приватном облачке. В публичном ничего не отваливается, но оно не особо гибкое. Если добавляешь РАМ, добавляется CPU и диск, а это $$$.

★★★

Что такое бАкап и как их выботывают? о_О

TDrive ★★★★★ ()

А если по делу то бэкап должен быть такой, что бы легко и удобно можно было восстановить из него систему.

Нужно что бы открывалась страничка в браузере с отчетом всех бакапов / отсылала отчет на мыло.

Это можно прикрутить к чему угодно парой строчек на любом яп.

TDrive ★★★★★ ()

Я искал-искал готовые решения, в итоге написал сам для бэкапа БД на ceph.

Вся инфраструктура на Openstack.

dvrts ★★★ ()
Ответ на: комментарий от TDrive

А если по делу то бэкап должен быть такой, что бы легко и удобно можно было восстановить из него систему.

Именно. На какую софтину смотреть?

Murg ★★★ ()
Ответ на: комментарий от TDrive

А если по делу то бэкап должен быть такой, что бы легко и удобно можно было восстановить из него систему.

неправда. Самое главное:

1. бекап должен создаваться незаметно, и не мешать основной работе системы.

2. бекап должен разворачиваться со 146%й гарантией, но «просто быстро» не обязательно.

Также очень полезно шифрование бекапов с помощью gpg(причём шифроваться он должен локально, там где его сделали)

emulek ()
Ответ на: комментарий от Deathstalker

rsync инкрементно.

rsnapshot, примерно тоже.

Так не годиться, бакапами должет мочь пользоваться умственно отсталый ламер с синдромом дауна и травмой черепа.

Murg ★★★ ()
Ответ на: комментарий от emulek

2. бекап должен разворачиваться со 146%й гарантией, но «просто быстро» не обязательно.

Быстро обязательно. R1Soft может восстанавливаться сутками. За это время начальники и проэкт манагеры впадают в панику, а клиенты названивают, потому что «сайт в дауне»

Murg ★★★ ()
Ответ на: комментарий от Murg

Быстро обязательно. R1Soft может восстанавливаться сутками. За это время начальники и проэкт манагеры впадают в панику, а клиенты названивают, потому что «сайт в дауне»

а зачем тебе бекап _разворачивать_?

emulek ()
Ответ на: комментарий от emulek

А откуда я знаю что у меня завтра один из compute node не ляжет? Опенстак витруалки со старого рейда мигрировать не будут. «не поддерживается»

Murg ★★★ ()
Ответ на: комментарий от Murg

rsnapshot для очень больших файлов думаю не быстр будет...

DALDON ★★★★★ ()

Встоинных бакапов нет

без Встоинных Бакапов нет жизни, лишь смерть и разрушение, да...

King_Carlo ★★★★★ ()

Я вообще не знаю про OpenStack, но в целом может попробовать что-то вроде этого:

Создать том drbd Поверх этого добра создать LVM + fs На другом узле создать аналогичный drbd узел С первого на второй делать async синхронизацию. На втором переодически делать снепшоты от LVM. - С нужной частотой времени, скажем ночью, раз в сутки.

В случае железного отказа первой ноды, будем иметь почти консистентный HDD на втором узле.

В случае логической порчи - поднимаемся со снепшота узла номер два.

Упоротая чушь? - Вполне допускаю. Но почему бы и нет..?

DALDON ★★★★★ ()
Ответ на: комментарий от DALDON

В случае логической порчи - поднимаемся со снепшота узла номер два.

Надо рассмотреть все варианты, как быть с цыганской порчей?

King_Carlo ★★★★★ ()
Ответ на: комментарий от King_Carlo

Пофиг на циганку, а вот затупившие бухи, которые случайно тут нажали, и поломали все остатки в базе 1С - посерьёзнее будут циган.

DALDON ★★★★★ ()
Ответ на: комментарий от DALDON

Создать том drbd Поверх этого добра создать LVM + fs На другом узле создать аналогичный drbd узел С первого на второй делать async синхронизацию. На втором переодически делать снепшоты от LVM. - С нужной частотой времени, скажем ночью, раз в сутки.

Рейд на всех 3х нодах уже разбит на разделы (partitions). На них уже крутяться VM. Ресайзить то, где продакшн, не есть хорошо.

Когда compute node кидают call trace, они виснут односекундно. На двух нодах, одинаковые сообщения в логах. Ругается на все, на что не лень.

Третья нода вроде нормальная (добавили неделю назад) и я на нее перекинула основные ВМки, пока 2 другие ноды не сдохли. Тоесть, нормальная нода забита по максимуму.

DRBD + LVM городить особо негде. Кампут Ноды 3, синдер 1. на Кампут нодах DRBD делать не стоит, они мне «не нравятся». На синдер все не влезет, на нем уже 4 LVMа, клон которых бакапиться через ССШ где-то в облаках. Свободно около 200 гигов, забакапить все ВМки не хватит.

Мне нужны внешние бакапы. Я не могу надеятся на железо ракспейса. Ему год, оно сыпеться. Харды меняются раз в месяц, мониторинг рейда у меня в том же nagios-костыле. Хард «пищит» неделю и только потом его меняют. Писать каждый раз в саппорт меня не устраивает. Если полетит что-то, что я не могу или не додумалась промониторить, я должна полагаться на ракспейс. За моих 2 неполных месяца работы, они косячили по крупному, 3 раза.

Ах да, мне нужно, что бы бакапы которые сделала я, мог восстановить Project Manager (они все поголовно нетехничные блондины).

Murg ★★★ ()
Ответ на: комментарий от Murg

Ах да, мне нужно, что бы бакапы которые сделала я, мог восстановить Project Manager (они все поголовно нетехничные блондины).

Чтобы такое реализовать надо описать максимальное кол-во сценариев восстановления: 1. Восстановить систему; 2. восстановить данные; 3. восстановить часть данных; 4. восстановить что-то еще; ... всё это с учетом восстановления на определенную дату.

И писать сценарии под все варианты, прикрутить кнопку на каждый случай и дать её ламерам с правами рута и главное ... быстро сваливать из конторы.

sdio ★★★★★ ()
Ответ на: комментарий от Murg

В таком случае Вам нужен: VMware + Veeam backup. Будете всё мышкой тыркать... Или свалить на другие облака, например в ажуре куда-нибудь.

DALDON ★★★★★ ()
Последнее исправление: DALDON (всего исправлений: 1)
Ответ на: комментарий от Murg

Ах да, мне нужно, что бы бакапы которые сделала я, мог восстановить Project Manager (они все поголовно нетехничные блондины).

Не надо потакать нетехничному руководству.

Надо твердо объяснять, что чудес не бывает, и либо они резко умнеют, либо пользуются услугами адекватно оплачиваемого специалиста.

Вычеркивай из всех требований «простоту» и вписывай эффективность и надежность. И на этом основании решай.

alpha ★★★★★ ()
Ответ на: комментарий от King_Carlo

а есть интерес потыкать тома zfs вместо сырых raw? с ними можно запускать гостей без кэша. неделю как поставил под тест машинку, вроде полет пока нормальный.

vxzvxz ★★★ ()
Ответ на: комментарий от vxzvxz

а есть интерес потыкать тома zfs вместо сырых raw? с ними можно запускать гостей без кэша.

Интересно. А поподробнее чего там и как?

http://docs.oracle.com/cd/E19253-01/820-0836/ftyxh/index.html

Оно?

King_Carlo ★★★★★ ()
Последнее исправление: King_Carlo (всего исправлений: 1)

В общем, чем бакапиться сферический линуксоид-админ в вакууме

Bacula + компeтентный проектировщик/администратор архивов.

petav ★★★★★ ()
Последнее исправление: petav (всего исправлений: 1)
Ответ на: комментарий от emulek

Во, хотел спросить. GPG. Ты свои приватные ключи как бекапишь? Есть ли пара отдельных флешек в сейфе? Или мегахацкерски распечатки base64 на А4 ?

Deleted ()
Ответ на: комментарий от King_Carlo

создаем пул:

zpool create -f -o ashift=12 kvmpool pci-0000:00:1f.2-scsi-1:0:0:0
задаем сжатие и кэш пула:
zfs set compression=on kvmpool
zfs set primarycache=all kvmpool
отключаем записи о времени доступа и дедупликацию
zfs set atime=off kvmpool
zfs set dedup=off kvmpool
создаю тестовую фс (это можно и не делать, а фигарить тома прям в kvmpool):
zfs create kvmpool/tom
создаю том zfs без резервирования места на фс:
zfs create -s -V 10g kvmpool/tom/vol-vm12
смотрим в директорию /dev/zvol/
ls /dev/zvol/kvmpool/tom/vol-vm12
ставлю виртуалку (параметры дискового устройства задаем так --disk path=/dev/zvol/kvmpool/tom/vol-vm12,bus=virtio,cache=none):
virt-install -n vm12 -r 1024 --vcpus=1 --disk path=/dev/zvol/kvmpool/tom/vol-vm12,bus=virtio,cache=none --vnc --os-type linux --accelerate --network=bridge:br0,model=virtio --hvm --disk path=debian-7.4.0-amd64-CD-1.iso,device=cdrom,perms=ro --vncport=5905
смотрим результат после установки:
zfs list
NAME                   USED  AVAIL  REFER  MOUNTPOINT 
kvmpool                867M   456G   144K  /kvmpool 
kvmpool/tom            866M   456G   136K  /kvmpool/tom 
kvmpool/tom/vol-vm12   866M   456G   866M  - 

делаем снапшот диска виртуалки:

zfs snapshot kvmpool/tom/vol-vm12@`date --rfc-3339=date`

смотрим результат:

zfs list -t snapshot
NAME                              USED  AVAIL  REFER  MOUNTPOINT 
kvmpool/tom/vol-vm12@2014-05-20      0      -   866M  - 

делаем бекап диска виртуалки:

zfs send kvmpool/tom/vol-vm12@2014-05-20 > /kvmpool/backup.vol-vm12

создадим фс куда восстановим бэкап и создадим клон диска vm:

zfs create kvmpool/temp

восстанавливаем бекап:

cat /kvmpool/backup.vol-vm12 | zfs receive -vdF kvmpool/temp
создаем клон диска для другой виртуалки:
zfs rename -f kvmpool/temp/tom/vol-vm12 kvmpool/temp/tom/vol-vm9
задать новый размер тома zfs:
zfs set volsize=16G kvmpool/tom/vol-vm12

из-за использования virtio, чтобы виртуалка увидела новый размер диска ее надо стопорнуть и переподключить диск:

virsh detach-disk vm12 --target vda --config
virsh attach-disk vm12  /dev/zvol/kvmpool/tom/vol-vm12 vda --sourcetype block --persistent

vxzvxz ★★★ ()
Ответ на: комментарий от King_Carlo

использование zvol позволяет отключить кэш в госте (cache=none) по идее это должно дать рост производительности, также интересно при таком подходе какова вероятность превратить в кашу xfs внутри снапшота?

vxzvxz ★★★ ()
Ответ на: комментарий от Deleted

Ты свои приватные ключи как бекапишь?

никак. Секретный ключ НИКОГДА не покидает свою железку. У меня на каждой железке свой ключ. Этих железок(на которых требуется секретность и/или подпись) не слишком-то и много, потому я просто например шифрую сразу несколькими ключами.

Есть ли пара отдельных флешек в сейфе? Или мегахацкерски распечатки base64 на А4 ?

идиотизм.

emulek ()
Ответ на: комментарий от emulek

Где лежит секретный ключ, если ты с ноутбука бекапишься на USB-hdd, например? Или приведи свой пример, пожалуйста. И как бы ты сделал хранение секретных-публичных ключей при необходимости бекапов на usb-винт?

потому я просто например шифрую сразу несколькими ключами.

Интересный ход. Получается несколько копий данных, если я правильно понимаю?

Deleted ()
Последнее исправление: Deleted (всего исправлений: 1)
Ответ на: комментарий от Deleted

Интересный ход. Получается несколько копий данных, если я правильно понимаю?

стандартный. У меня к примеру 2 компьютера А и Б. Когда я бекаплю данные скажем на usb-hdd, я шифрую ключом А и Б. Файл размером 1Мб после шифрования занимает 1Мб. Ключ А лежит только на А, ключ Б только на Б.

В действительности у меня 5 компьютеров.

emulek ()
Ответ на: комментарий от Deleted

Это: http://stackoverflow.com/questions/597188/encryption-with-multiple-different-... ? Для А и В, по-сути, сессионный ключ будет зашифрован дважды каждым из публичных ключей.

да. Ещё неплохо подписать ключом той системы, где это делается. Если бекап делается автоматически, подпись формируется специальным ключом без пассфразы(который используется только для подписи бекапов)

emulek ()
Ответ на: комментарий от DALDON

думаю на AWS, но не знаю пока что там с бакапами. Что за ажур?

Murg ★★★ ()
Ответ на: комментарий от alpha

пользуются услугами адекватно оплачиваемого специалиста.

Они так и делают. Просто после того как я разгребу срач и заскриптую все что можно, начнется рутина и я свалю.

Хочеться что-бы следующему баранкину сисадмину было все понятно...

Murg ★★★ ()
Ответ на: комментарий от Murg

Майкрософт ажуре. - Демократичные цены, и поговаривают функционал на уровне.

DALDON ★★★★★ ()
Ответ на: комментарий от Murg

Просто после того как я разгребу срач и заскриптую все что можно

Чтобы было понятно админу, не надо всё «упрощать для блондинов» и «заскриптовывать». Надо поменьше городить самописных скриптов и побольше пользоваться стандартными решениями, даже если у них нет гламурного интерфейса с одной большой кнопкой.

alpha ★★★★★ ()
Ответ на: комментарий от vxzvxz

zfs set compression=on kvmpool

lz4 решает. volblocksize ещё попробуй покрути, он по дефолту 8к.

EvgGad_303 ★★★★★ ()
Ответ на: комментарий от EvgGad_303

volblocksize ещё попробуй покрути

да читал о нем, попробуем.

vxzvxz ★★★ ()
Ответ на: комментарий от vxzvxz

использование zvol позволяет отключить кэш в госте (cache=none) по идее это должно дать рост производительности

Пробовал cache=none и cache=writeback, разницы в производительности на томах zfs не обнаружил, так что можно смело cache=none, целее будет.

также интересно при таком подходе какова вероятность превратить в кашу xfs внутри снапшота?

Похоже, что вероятность не велика, сделал 30 снапшотов, с ВМ под нагрузкой (пишем читаем БД mysql в кучу потоков), все поднялись без проблем, XFS цела, БД целы.

King_Carlo ★★★★★ ()
Ответ на: комментарий от alpha

Простые монотонные задачи можно, особенно если оно не в продакшене.

Murg ★★★ ()

бакап

к логопеду, быдло

Бэкап произвожу самописными скриптами

reprimand ★★★★★ ()
Ответ на: комментарий от reprimand

«бэкап» говорят только те которые учили английский в СССР. Местные говорят бакап.

Ещё «the», совсем не «зе», а apple, совсем не «эпл».

к логопеду, быдло

Разговорные языки: русский, испанский, французкий, английский и да... хохлянский.

Murg ★★★ ()
Ответ на: комментарий от Murg

«the», совсем не «зе»,

Ага, это калька с украинского «цей/ці»:)

DonkeyHot ★★★★★ ()
Ответ на: комментарий от Murg

Местные говорят бакап.

Транскрипция

backup [bækʌp]
Произносится как А, только последний слог, а первый как смесь ЭА.

к логопеду, быдло

anonymous ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.