LINUX.ORG.RU
ФорумAdmin

Настройка LVM-Thin на Proxmox

 ,


0

1

Добрый день! Тут иногда встречаются треды с ответами знатоков по Проксмоксу, попробую и я спросить. История такая: поставил проксмокс на чистый жёсткий диск, в один LVM-том. Затем, чтобы хранить снэпшоты с контейнеров, понадобилось добавить том LVM-Thin, так как на обычном LVM проксмокс не умеет хранить снэпшоты. С LiveCD отрезал от основного LVM тома место, создал новый LVM том и командой lvconvert --type thin-pool pve/data конвертировал его в том LVM-Thin. Пользовался этой официальной инструкцией. В результате у меня получилась следующая картина (новый pool называется data, VG name — pve).

# lvs
  LV     VG                      Attr       LSize   Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  data   pve twi-a-tz--   1,00t             0,00   0,42                           
  root   pve -wi-ao---- 331,28g                                                   
  swap_1 pve -wi-ao----   7,50g 

# vgdisplay -v
  --- Volume group ---
  VG Name               pve
  System ID             
  Format                lvm2
  Metadata Areas        1
  Metadata Sequence No  9
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                3
  Open LV               2
  Max PV                0
  Cur PV                1
  Act PV                1
  VG Size               1,82 TiB
  PE Size               4,00 MiB
  Total PE              476870
  Alloc PE / Size       348934 / 1,33 TiB
  Free  PE / Size       127936 / 499,75 GiB
  VG UUID               ELBwHf-G8ck-TBxo-fsM5-N3Tp-8wLB-64HxtI
  
  --- Logical volume ---
  LV Path                /dev/pve/root
  LV Name                root
  VG Name                pve
  LV UUID                21kcdC-9sdj-eDvB-XshD-f6mK-hk73-dKzjvN
  LV Write Access        read/write
  LV Creation host, time pve, 2018-02-22 12:09:19 +0300
  LV Status              available
  # open                 1
  LV Size                331,28 GiB
  Current LE             84807
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:0
  
  --- Logical volume ---
  LV Path                /dev/pve/swap_1
  LV Name                swap_1
  VG Name                pve
  LV UUID                fyLIQJ-7B37-WFP0-tNyg-0Ter-gP1b-T9P4W5
  LV Write Access        read/write
  LV Creation host, time pve, 2018-02-22 12:09:19 +0300
  LV Status              available
  # open                 2
  LV Size                7,50 GiB
  Current LE             1919
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:1
  
  --- Logical volume ---
  LV Name                data
  VG Name                pve
  LV UUID                sQjxkL-CnUK-5xaY-fTrK-Svzc-ZaKl-POOWsS
  LV Write Access        read/write
  LV Creation host, time pve, 2018-03-14 19:07:03 +0300
  LV Pool metadata       data_tmeta
  LV Pool data           data_tdata
  LV Status              available
  # open                 0
  LV Size                1,00 TiB
  Allocated pool data    0,00%
  Allocated metadata     0,42%
  Current LE             262144
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:4
  
  --- Physical volumes ---
  PV Name               /dev/sda5     
  PV UUID               R0fz6f-uNyO-Eah5-bi6j-2Rzz-kHVB-RGPneW
  PV Status             allocatable
  Total PE / Free PE    476870 / 127936
# cat /etc/pve/storage.cfg

dir: local
    disable
    path /var/lib/vz
    content rootdir,images,iso,vztmpl
    maxfiles 0
    shared 0

lvmthin: local-lvm
    thinpool data
    vgname pve
    content images,rootdir,iso,vztmpl
    nodes pve

В выхлопе всех этих команд видно, что у меня появился новый логический том, который называется data и находится в общем VG, который называется pve. Proxmox через вебморду этот том видит как хранилище, он нормально добавляется как через конфиг, так и через гуй, видит размер в 1 террабайт. Но ничего не может туда записать. Все кнопки, типа «Upload» не активны, сохранить снэпшот на это хранилище проксмокс так же не может. Я пробовал через fstab прописывать монтирование для этого тома, создал ему папочку /data и прописал в /etc/fstab монтирование аналогично, как там смонтирован том root. При этом в /data после перезагрузки монтируется нормально, туда записываются файлы, система видит размер этого тома в 1 терр, нормально высчитывает место, если туда что-нибудь записать. Короче, в системе том монтируется и функционирует нормально. При этом Проксмокс сам не видит записанные туда каталоги и файлы, и в своём ГУЕ продолжает показывать, что диск размер с 1 терр и занято 0 байт. Господа, куда копать?

У меня есть догадка, что здесь проблема в том, что в выхлопе команды # vgdisplay -v для тома data не отображается параметр LV Path. Например, для тома root он отображается таким образом:

  --- Logical volume ---
  LV Path                /dev/pve/root
  LV Name                root
  VG Name                pve
А для тома data не отображается вообще. Что я мог упустить? Буду благодарен любым подсказкам.


В дополнение:

# blkid
/dev/sda1: UUID="dc6fc97e-c75a-4072-b791-ddcd056508d5" TYPE="ext2" PARTUUID="29d89a74-01"
/dev/sda5: UUID="R0fz6f-uNyO-Eah5-bi6j-2Rzz-kHVB-RGPneW" TYPE="LVM2_member" PARTUUID="29d89a74-05"
/dev/mapper/pve-root: UUID="31949079-232e-4769-aed3-fa6fe18da82e" TYPE="ext4"
/dev/mapper/pve-swap_1: UUID="30ed02a9-c9dc-4a23-a373-289c9bc59756" TYPE="swap"

blkid не смог найти мой том LVM-Thin как блочное устройство! А между тем, этот том смонтирован в /mnt/data и на нём лежат файлы (можно смонтировать в любое другое место, те же файлы останутся):

# ls /mnt/data/
111  dump  images  lost+found  private	template

# df -h /mnt/data/
Файловая система                            Размер Использовано  Дост Использовано% Cмонтировано в
/dev/mapper/pve-data  1007G          15G  942G            2% /mnt/data

Монтировал через fstab:

# cat /etc/fstab 
# /etc/fstab: static file system information.
#
# Use 'blkid' to print the universally unique identifier for a
# device; this may be used with UUID= as a more robust way to name devices
# that works even if disks are added and removed. See fstab(5).
#
# <file system> <mount point>   <type>  <options>       <dump>  <pass>
/dev/mapper/pve-root /               ext4    errors=remount-ro 0       1
/dev/mapper/pve-data /mnt/data               ext4      defaults 0 2
# /boot was on /dev/sda1 during installation
UUID=dc6fc97e-c75a-4072-b791-ddcd056508d5 /boot           ext2    defaults        0       2
/dev/mapper/pve-swap_1 none            swap    sw              0       0

Помогите, товарищи, как это понимать? Почему выхлоп lvs показывает, что на томе занято 0.0% места, а df -h показывает, что занято место, которое там реально занято?

GT
() автор топика
Ответ на: комментарий от zelenij

В общем не осилил я LVM Thil, переустановил Proxmox на ZFS. Там прикольные фичи с синхронизацией кластера на ней. Ещё с ZFS можно использовать Ceph, что есть тоже оч крутая фича.

GT
() автор топика
Ответ на: комментарий от GT

В общем не осилил я LVM ...

Похвастался скудоумием что-ли?

futurama ★★★★★
()
Ответ на: комментарий от GT

Имхо зфс хороша только когда памяти дофига.. Именно выделенной для зфс. Когда её мало (меньше 4гб на терабайт) работает зфс медленней ехт2. А цеф есть смысл ставить на кластере, иначе, никаких кайфов кроме гимора от него нету.

zelenij
()
Ответ на: комментарий от zelenij

Именно в кластере работает Ceph. Памяти хватает, но ZFS действительно жручая, зато быстрая.

GT
() автор топика
Ответ на: комментарий от zelenij

Имхо зфс хороша только когда памяти дофига.. Именно выделенной для зфс. Когда её мало (меньше 4гб на терабайт) работает зфс медленней ехт2

как же достали эти безмозглые кукаретики

anonymous
()
Ответ на: комментарий от GT

Ну так урежь доступную для arc память.

anonymous
()
Ответ на: комментарий от anonymous

Дяденька. Я готов померяться письками. Есть задокументированные тесты с иометром для нативного использования zfs, ext2, ext4 и btrfs. Также делал тесты ext4 (ехт4 over lvm) over fc over zfs. Также есть тесты из виртуалок расположенных на lvm thin over fc over zfs ( на чем и остановился).

Я хорошо понимаю о чем говорю. А вот пердеть анонимно и засирать топик - это легко.... Это дааа...

zelenij
()
Ответ на: комментарий от zelenij

Я готов померяться письками.

зачем мне твой жалкий огрызок?

Когда её мало (меньше 4гб на терабайт)
Я хорошо понимаю о чем говорю.

так я тебе поверил

ext4 (ехт4 over lvm) over fc over zfs

чо?

anonymous
()
Ответ на: комментарий от anonymous

И насколько вы урезаете доступную для ARC память? И зачем, в таком случае, используете ZFS? Если по сути это главная её фича.

GT
() автор топика
Ответ на: комментарий от GT

И насколько вы урезаете доступную для ARC память?

В зависимости от задач?

И зачем, в таком случае, используете ZFS?

потому что лучше ничего нет, конечно, если руки и голова на месте.

Если по сути это главная её фича.

ARC главная фича? на линуксе? мкай.жпг

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.