LINUX.ORG.RU
ФорумAdmin

LVM Snapshot + RAID1

 , ,


0

4

у меня тут около недели уже бекапы одного раздела в виртуалке делаются через снепшоты lvm.
VG поверх RAID1. LV засунут в виртуалку, где на нём имеются ещё несколько разделов.
Сначала я делаю снепшот LV, потом с помощью kpartx делаю device map и уже с /dev/mapper монтирую то, что я хочу бекапить. Если короче, то как-то так:

lvcreate --snapshot --name snap-${VOLUME} --size 5GB /dev/host1/${VOLUME}
kpartx -av /dev/host1/snap-${VOLUME}
mkdir -p /mnt/${PARTITION}
mount -o ro,noatime /dev/mapper/${PARTITION} /mnt/${PARTITION}
Ну а дальше уже манипуляции для бекапа. Напоминаю, что VG поверх RAID1. Так вот. Неделю всё было хорошо, бекапы бекапились. А сегодня вдруг на тебе, и ничего не работает. lvdisplay, vgdisplay, lvremove итд. виснут и не убиваются по SIGKILL.
Сервер ребутнул, удалил снепшот, решил снова запустить скрипт бекапа и точно та же фигня. Где-то 1Gb бекапится, а потом всё, что связано с LVM виснет намертво (в т.ч. и доступ к остальным разделам)
И ещё, в данный момент, я ещё обнаружил, что у меня ресинкается тот самый рейд, который является PV для LVM.
# cat /proc/mdstat
Personalities : [raid1] 
md2 : active raid1 sda4[0] sdb4[1]
      2824881471 blocks super 1.2 [2/2] [UU]
      [>....................]  resync =  3.1% (88970816/2824881471) finish=847.2min speed=53818K/sec
И ещё, любая попытка копирования-перемещения файла со снапшота после того самого 1Gb виснет, при этом ls на примонтированном разделе со снапшота работает.
Что пробовал:
1. Увеличивать размер cow-буффера.
2. Смотреть в dmsetup info. До и после зависания ничего не меняется.
3. Смарт диска говорит, что всё ок. Возможно он ресинкается от того, что я сервер вырубал нажатием reset, т.к. на reboot и Ctrl+Alt+Del он не реагировал. И все-равно, мне не кажется это важным, т.к. до создания снепшота и копирования первого гигабайта никаких отклонений не наблюдается.


По поводу resync: bitmap используйте, не будет ресинкаться.

DALDON ★★★★★ ()
Ответ на: комментарий от DALDON

это да, я сейчас жду, когда resync закончится, чтобы продолжить эксперименты с ребутом.

Но всё-же сейчас самое важное - я не могу понять, почему весь lvm полностью зависает и, соответственно, все виртуалки с дисками на данной VG (а она только одна) виснут на операциях чтения с диска.

Имеет ли смысл strace'ить rsync большого файла со снапшота? Или может у него только на кучу маленьких такая аллергия (а там именно куча маленьких, в районе 30 сайтиков).

Или я вообще всё делаю неправильно и нельзя держать примонтированный rw образ в виртуалке и одновременно монтировать его снепшот (в ro) в хост и пытаться слить с него бекап?

У меня уже появляются мысли забить и делать бекап напрямую, без снепшота, там файлы редко очень меняются, за исключением всяких кешей, которые никому не нужны, но все-равно разобраться надо, иначе потом совесть замучает.

Prius ()
Ответ на: комментарий от Prius

К сожалению не могу сказать, не сталкивался. :( Но за темой понаблюдаю.

А так пальцем в небо если: а делать снепшот и бекап с выключенной виртуалкой пробовали? - Спросил так, от нечего делать, но всё же... Может это косяк какой-нибудь гиппервизора? Логи гиппервизора смотрели?

DALDON ★★★★★ ()

надо смотреть что там с блочными устрйствами. я б запустил для начала что-то вроде dd if=/dev/sda of=/dev/null, потом для sdb, потом для md2, потом для /dev/host1/${VOLUME} и т.п. как-то по виду выглядит что какая-то железка дала сбой и рейд попортился.

prizident ★★★★★ ()
Ответ на: комментарий от prizident

С железками вроде всё ок. dd отработал нормально за примерно одинаковое время на обоих дисках

root@host-1 ~ # dd if=/dev/sda of=/dev/null
5860533168+0 records in
5860533168+0 records out
3000592982016 bytes (3.0 TB) copied, 22938.7 s, 131 MB/s
root@host-1 ~ # dd if=/dev/sdb of=/dev/null
5860533168+0 records in
5860533168+0 records out
3000592982016 bytes (3.0 TB) copied, 20874.9 s, 144 MB/s
Сегодня пока нет времени дальше копать, завтра ещё посмотрю.

Prius ()
Ответ на: комментарий от Chaser_Andrey

Отказался от снепшотов LVM... Проблема со скоростью снепшотов LVM дофига у кого имеется

google://lvm+snapshot+slow

А у меня там ещё куча мелких файлов в придачу ко всему, так что оно и без снепшотов wa неплохо поднимает

Prius ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.