LINUX.ORG.RU
Форум — Admin  

Proxmox кластер. Хранилище local-lvm при добавлении к кластеру исчезло.

 ,


0

1

Добрый день. Думаю меня нужно направить куда то почитать. Спасибо за уделённое время!

Цель создать Кластер proxmox. Тренируюсь на двух нодах (pve02 pve13). В планах 7 боевых нод загнать в кластер.

-pve02 при установке исп. zfs RAID1 (1Tb+1Tb)

-pve13 при установке исп. LVM (так как диск 1)

Вопросы:

1. Хранилище local-lvm на pve13, после присоединения pve13 к кластеру на pve02 исчезло. Появилось local-zfs - нерабочее конечно.

Хранилище local на pve13 то доступно, то нет. 

cat /etc/pve/storage.cfg
dir: local
<------>path /var/lib/vz
<------>content iso,vztmpl,backup

zfspool: local-zfs
<------>pool rpool/data
<------>sparse
<------>content images,rootdir

Как нужно поправить конфиг что бы видеть свои ранее созданные хранилища на кождой ноде? (Единого хранилища для всех НОД (NAS СХД) нет и не будет к сожалению, каждая нода будет хранить свои машины на своих винтах)

2. На нодах которые запланировал присоединить к кластеру уже есть контейнеры и ВМы. Есть возможность присоединить вместе с ними? (усложняется всё совпадающими CTID)

3. Для чего служит HA - сердечко. По какому принципу эта система работает?

4. Что еще нужно учесть при создании кластера?

Спасибо Вам за любое участие.

Еще вопрос: на pve02 создал RAID1 - zfs. Тестирую - выключаю 1 HDD. Перезапускаю - работает. Сообщений об отсутствии 1-ого HDD в RAID1 не вижу.

Скажите пожалуйста:

5. Как мониторить состояние RAID1 ?

6.Как добавить новый HDD в RAID1 в замен успорченного?



Последнее исправление: ishk0 (всего исправлений: 3)

2. Нет, сделай бекап и потом разверни
4. HA будет работать только с общим стораджем, запускать виртуалки если они потухли на живой ноде(в общем как настроишь)
5. Лучше отдельная сетка для кластера

Ien_Shepard ★★★
()
Ответ на: комментарий от Ien_Shepard

Спасибо.

Остался главный вопрос с хранилищем.

Посмотрел storage.cfg на не присоединённых нодах

lvmthin: local-lvm thinpool data vgname pve content rootdir,images

Добавил в кластер - толку нет.

ishk0
() автор топика
Ответ на: комментарий от pvvking

Вы правы.

Да. Я конечно же видел этот трактат. Вот ссылки на ту тему которая меня интересует:

Глава 3. Под капотом Proxmox.Файл настройки хранилища

Глава 4. Системы хранения

Простите за не смышлённость, но я не вижу тут подсказки - как реализовать задуманное.

СХЕМА того построения, которое мне требуется.

Скриншот_проблемы - к pve13 приписывается local-zfx которого у него нет. И отсутствует loсal-lvm который у него был до присоединения в кластер. (закомменчины мои эксперименты)

Описание проблемы: Не могу каждой ноде назначить своё хранилище.

Спасибо за любую подсказку. 

root@pve13:~# vgdisplay -v
  --- Volume group ---
  VG Name               pve
  System ID             
  Format                lvm2
  Metadata Areas        1
  Metadata Sequence No  27
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                3
  Open LV               2
  Max PV                0
  Cur PV                1
  Act PV                1
  VG Size               931.26 GiB
  PE Size               4.00 MiB
  Total PE              238402
  Alloc PE / Size       234359 / 915.46 GiB
  Free  PE / Size       4043 / 15.79 GiB
  VG UUID               8KVtut-2ggY-rG13-fiWT-1g28-rzS9-tblxtw
   
  --- Logical volume ---
  LV Path                /dev/pve/swap
  LV Name                swap
  VG Name                pve
  LV UUID                vyZ7fQ-GHWQ-x90f-py3w-4JDc-sgIy-eXwA4S
  LV Write Access        read/write
  LV Creation host, time proxmox, 2018-02-02 15:49:48 +0300
  LV Status              available
  # open                 2
  LV Size                8.00 GiB
  Current LE             2048
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:0
   
  --- Logical volume ---
  LV Path                /dev/pve/root
  LV Name                root
  VG Name                pve
  LV UUID                epp7P6-T7AQ-Zp47-sdqc-tDRe-SjBT-FqC8c7
  LV Write Access        read/write
  LV Creation host, time proxmox, 2018-02-02 15:49:48 +0300
  LV Status              available
  # open                 1
  LV Size                96.00 GiB
  Current LE             24576
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:1
   
  --- Logical volume ---
  LV Name                data
  VG Name                pve
  LV UUID                id1k8m-4T1r-Fmhf-b7lP-hmDe-eQ5K-FbOJWe
  LV Write Access        read/write
  LV Creation host, time proxmox, 2018-02-02 15:49:49 +0300
  LV Pool metadata       data_tmeta
  LV Pool data           data_tdata
  LV Status              available
  # open                 1
  LV Size                811.26 GiB
  Allocated pool data    0.00%
  Allocated metadata     0.42%
  Current LE             207683
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:4
   
  --- Physical volumes ---
  PV Name               /dev/sda3     
  PV UUID               lxDBHB-qoY5-C4B0-uOCC-MRNs-MF5I-6L74n2
  PV Status             allocatable
  Total PE / Free PE    238402 / 4043
ishk0
() автор топика
Ответ на: Вы правы. от ishk0

Еще вопрос: на pve02 создал RAID1 - zfs. Тестирую - выключаю 1 HDD. Перезапускаю - работает. Сообщений об отсутствии 1-ого HDD в RAID1 не вижу.

Скажите пожалуйста:

5.Как мониторить состояние RAID1 ?

6.Как добавить новый HDD в RAID1 в замен успорченного?

ishk0
() автор топика
Ответ на: комментарий от ishk0

Вот хорошая статья на тему RAID

https://habrahabr.ru/post/272249/

и еще пару в догонку:

https://admin812.ru/nastrojka-monitoringa-sostoyaniya-raid-zfs-v- zabbix.html

http://vasilisc.com/zfs-raid-proxmox

Вопрос: Как сделать в кластере каждой ноде своё хранилище контейнеров\ВМ актуален!

ishk0
() автор топика
Ответ на: комментарий от Deleted

Кластер, для упращенного управления с морды. Для лёгких миграций.

Задал вопрос на Офф сайте:

https://forum.proxmox.com/threads/cluster-local-storage-to-each-node.41304/

Тоже тишина. Как так то? ведь решение 100% есть. И оно должно быть простым.

http://onreader.mdl.ru/MasteringProxmox.2ed/content/figures/Fig0401.jpg

Выдержка:

В кластерной среде Proxmox совместно используемое хранилище не является обязательным, однако, без всяких сомнений, оно делает управление хранением более простой задачей.

ishk0
() автор топика
Ответ на: комментарий от ishk0

Документацию читать не пробовал? https://pve.proxmox.com/wiki/Storage

All Proxmox VE related storage configuration is stored within a single text file at /etc/pve/storage.cfg. As this file is within /etc/pve/, it gets automatically distributed to all cluster nodes. So all nodes share the same storage configuration.

Т.е. все локальные датасторы должны быть описаны в конфиге. Меняешь им <storage_id> с дефолтных на zfs_pve13 например, чтобы можно понять, что из них что.

Потом

Common Storage Properties

A few storage properties are common among different storage types.

nodes

List of cluster node names where this storage is usable/accessible. One can use this property to restrict storage access to a limited set of nodes.

Добавляешь параметр с именем ноды на которой он доступен.

Deleted
()
Ответ на: комментарий от Deleted

Спасибо!

Спасибо! нужно то всего лишь было указать «nodes»!

Но миграция всё равно не работает. Cкрипт миграции отсылает нас на одноимённое хранилище. Вот ошибка:

https://image.prntscr.com/image/PdoROEK5RkeBMnKFXoF9XA.png

Кажется вот дефолтная команда миграции: 

set -o pipefail && pvesm export local-zfs:subvol-100-disk-1 zfs - -with-snapshots 0 -snapshot __migration__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=pve13' root@192.168.98.4 -- pvesm import local-zfs:subvol-100-disk-1 zfs - -with-snapshots 0 -delete-snapshot __migration__

Пробовал указать local-lvm но ошибка та же. Миграция в принципе заточена на использование другой НОДЫ, но того же хранилища? Или можно как то указать?

ishk0
() автор топика
Ответ на: Спасибо! от ishk0

Видимо кнопка в интерфейсе только для живой миграции. Попробуй мигрировать диск из вкладки hardware. Либо мигрируй руками из консоли, поправив имя датастора.

Deleted
()
Ответ на: комментарий от Deleted

Подскажите пожалуйста

Не пойму как можно сделать это из hardware https://image.prntscr.com/image/CLliBB-3SQGIj2WE4z_9_Q.png

«Либо мигрируй руками из консоли, поправив имя датастора.»

set -o pipefail && pvesm export local-lvm:subvol-100-disk-1 zfs - -with-snapshots 0 -snapshot __migration__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=pve02' root@192.168.98.3 — pvesm import local-zfs:subvol-100-disk-1 zfs - -with-snapshots 0 -delete-snapshot __migration__

volume export format zfs not available for PVE::Storage::LvmThinPlugin cannot receive: failed to read from stream cannot open 'rpool/data/subvol-100-disk-1': dataset does not exist command 'zfs recv -F — rpool/data/subvol-100-disk-1' failed: exit code 1

Что то я делаю не так. Подскажите развёрнуто пожалуйста. Благодарю.

ishk0
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
Admin