Debian RAID10 vs RAID0 + 2xRAID1 vs LVM + 2xRAID1

на основании личного опыта

Я обычно иду по пути наименьшего сопротивления и собираю raid10. В процессе использования меня отмирающие диски. Именно на практике это вариант для ленивых.

с учётом требований к возможностям расширения

Так как рейд я собираю не на весь диск, а сначала создаю на нём раздел, который уже добавляю в рейд, расширяю по мере того, как постепенно заменю все диски в рейде на больший размер. В случае с домашним NAS это легко, там всего четыре диска, можно разом заменить. В случае с сервером, где у меня десять дисков в raid10, пока что объём не увеличил. Возможно, имеет смыл в такой конфигурации собрать несколько рейдов и увеличивать их по очереди. Это для случая, если ты хочешь вставить в комп диски большего размера.

На сервере поверх raid10 держу lvm, так как там на хосте ничего нет - 100500 виртуалок, для каждой виртуалки свой lvm-том.

Производительность не замерял. Надёжность на уровне - так, чтобы вылетело несколько дисков одновременно, у меня не было ни разу. Замена одного диска производится на лету без проблем.

я знаю про существование raid0+1, его плюсы и минусы - данный вариант к данной теме не относится.

Тем не менее точню, что плюсы у него отсутствуют.

Как лучше это сделать?

Из твоего - raid10, всё остальное это придумывание костылей на ровном месте. Но с учётом пожеланий:

в будущем может появиться необходимость расширить массив путём добавления ещё нескольких дисков (суммарно их всегда будет чётное количество);
вероятно, имеющиеся диски будут постепенно заменены на HDD большего объёма и понадобится расширить доступный объём в RAID10;

порекомендую подумать над вариантом «два raid1 тома, данные раскидываются между ними на уровне файловой системы/приложения».

Так как рейд я собираю не на весь диск, а сначала создаю на нём раздел, который уже добавляю в рейд, расширяю по мере того, как постепенно заменю все диски в рейде на больший размер.

Такой же план и у меня ;D

Правда, пока не разобрался, как именно происходит такое расширение. Можешь направить на нужные ресурсы или здесь расписать, как расширить RAID10 после замены всех дисков без потери данных? Есть, конечно, вариант создать новые разделы на дисках и банально добавить их в массив, но звучит несколько муторно для большого количества дисков.

Когда заменишь все диски на большие, по одному пересоздай разделы в сторону увеличения и потом mdadm --grow. Подробности в man mdadm. Каких-то специальных ресурсов не знаю. Я чаще всего по манам делаю. :) Тут как бы не особо сложная архитектура, чтобы искать спецстатьи.

Муторно, да. Но если хочется на живую, то только так. Если есть возможность переносить данные и пересоздать массив с нуля, конечно проще.

UPD: Но это всё-таки разовая операция. И ручной работы не особо много. Большую часть времени только ждать синхронизации.

Тем не менее точню, что плюсы у него отсутствуют.

Справедливо.

Из твоего - raid10, всё остальное это придумывание костылей на ровном месте.

Не изучал документацию настолько глубоко, но возможно ли создание «нетрадиционных» конфигураций RAID1+0 с помощью mdadm raid10? Например, таких:

1. (RAID1 из трёх дисков) + (RAID1 из двух дисков) в RAID0;
2. (RAID1 из RAID0+диск+диск) + (RAID1 из трёх дисков) + (RAID1 из двух дисков) в RAID0.

И как можно гарантировать, что именно нужный порядок дисков будет использован при построении массива? Если верить https://serverfault.com/questions/723388/md-raid10-how-to-make-sure-that-replicated-data-is-stored-in-right-place, то единственный способ - создать вручную два RAID1, а из них RAID0.

После каждого пересоздания раздела массив будет пересобираться? Или при увеличении размера раздела и неизменности данных mdadm просто продолжает работать, а пересоберётся всё уже только при mdadm --grow?

Смотря насколько большие будут диски. Если это диски 8+ тб, забудь про mdadm и создавай lvm raid10. Зачем тебе сутками синхронизировать пустое место и с большой вероятностью ловить вылеты из рейда от незначительных сбоев?

Хотя если это на работе, то из принципа KIS можно попробовать mdadm. Но классический рейд все же для не слишком больших дисков

Диски достаточно большие, но KIS определённо в приоритете - нужно сделать так, чтобы при необходимости и вручную с микроскопом можно было данные по битам считать. Отсюда же необходимость знать однозначно, где какой блок данных будет лежать.

Про синхронизацию пустого места mdadm’ом и большую скорость синхронизации LVM не слышал - есть ссылки на материалы по этой теме?

Тебе нужно будет сначала по очереди вывести каждый диск из массива, расширить раздел, дождаться синхронизации. Т.е. если четыре диска, четыре раза ждать. Сам по себе --grow проходит относительно быстро и один раз.

Это если делать, как я, когда у тебя в массиве, условно, не /dev/sda, а /dev/sda1. Можно ли сделать быстрее и на весь диск сразу без разделов - не проверял. Я не так часто увеличиваю свои массивы. А рабочими занимаются специально обученные люди. Как делают они - не интересовался. Ну и там не mdadm, там своё.

Диски достаточно большие, но KIS определённо в приоритете

Все же пощупай lvm raid в виртуалке. Даже если не под эту задачу, рано или поздно пригодится

нужно сделать так, чтобы при необходимости и вручную с микроскопом можно было данные по битам считать

Тогда тем более lvm. у всех утилит есть ключ «-m», который покажет информацию по отдельным экстентам

У меня почему-то lvm raid выдавал много ошибок при вылете одного из дисков. Но это было давно и опыт может быть нерелевантным.

А, ты хочешь использовать такие конфигурации как промежуточные при наращивании дисков? Ну, если так, то вероятно и правда надо вручную это задавать. Но выглядит это как-то плохо по-моему.

Хотя данные в случае аварии ты конечно из таких дисков в итоге вытащишь, но это будет длинный простой. Если делать отдельные мирроры то их намного удобнее обслуживать отдельно друг от друга в контексте «плавно добавлять/увеличивать диски».

Вот, да. Я выше писал, что, возможно, удобнее будет создать несколько mdadm-рейдов, которые потом объединить с помощью lvm в один pv. Но надо смотреть подробнее по требованиям ко всей системе.

Спасибо!

Пощупать-то можно, но на практике применять - пока что сомнительное удовольствие (пробовал просто LVM, в том числе шифрованный - как-то не особо зашло). Тема старая, но, думаю, общий смысл ответов до сих пор актуален: https://unix.stackexchange.com/questions/150644/raiding-with-lvm-vs-mdraid-pros-and-cons. Благодарю за рекомендацию!

как промежуточные при наращивании дисков

Может, как промежуточные, а может, и как постоянные - зависит от состояния дисков.

Хотя данные в случае аварии ты конечно из таких дисков в итоге вытащишь, но это будет длинный простой.

Простои - как раз не проблема. Данные больно уж ценные, а используются они далеко не 24/7.

Если делать отдельные мирроры то их намного удобнее обслуживать

Согласен, но тогда теряется прирост скорости от RAID0, а HDD запилены под надёжность, скорость у них средненькая - хотелось бы побольше.

Данные больно уж ценные

Ценные данные бэкапят на бэкап сервер и оффсайт бэкап сервер. RAID это не про ценные данные, а именно про избавление от простоя хранилища.

А никто и не говорил, что оффсайт бэкапы отсутствуют ;D

Просто все бэкапы нужно где-то хранить, и делать это в RAID1-массиве куда надёжнее, чем на одном диске. Ну или RAID10 для большей производительности.

но возможно ли создание «нетрадиционных» конфигураций RAID1+0 с помощью mdadm raid10? Например, таких:
(RAID1 из трёх дисков) + (RAID1 из двух дисков) в RAID0;

Никакой «нетрадиционщины», это ваше личное дело сколько вы дисков будете включать в raid1, можете даже деградированный с одним диском сделать.

Если это диски 8+ тб, забудь про mdadm и создавай lvm raid10. Зачем тебе сутками синхронизировать пустое место

Странная рекомендация, вроде не каждый день такое исполняется, ну запустил и кури бамбук, закончило пользуй.

и с большой вероятностью ловить вылеты из рейда от незначительных сбоев?

А можно подробностей?

Но классический рейд все же для не слишком больших дисков

Ему побарабану до объемов и он тот самый KISS.

Данные больно уж ценные

raid не про сохранность данных, ценные данные надо бэкапить по принципу 3-2-1.

У меня с LVM RAID негативный опыт - на трех разных дистрибутивах он отказался при загрузке автоматически подымать зеркальный(raid1) том из двух дисков, если один из дисков отсутствует (в отличие от mdadm). Для меня это критично: большой жирный warning от отсутствующего диска в зеркале - это ОК, если при этом система сама подымается и работает. А выпадать в осадок и требовать ручного вмешательства там, где оно не надо - не ОК.

если объём дисков не очень большой (<2ТБ)б то спокойно можно сделать R5. выиграешь в объёме. только bitmap обязательно сделай. но для / это не очень решение.

если дисков в итоге планируется иметь сильно больше, то LVM - как раз тот случай когда он кстати. и да - он сам умеет в RAID.

технически ещё можно сделать относительно небольшой / тройным зеркалом и 4 диск запасным, а остальное большое место - под R5.

если добавлять не планируется, а только заменять на большее, то на большой диск можно переехать с небольшим перерывом на замену 1 диска (если горячая замена - то вообще без неё), далее остальные по очереди, в конце делаешь grow, а затем также увеличиваешь саму fs, команды для ext2/3/4 я не помню, online был сделан для неё ещё где-то в районе 2005 года. в остальных надо смотреть доку но тоже было такое.

можно / иметь отдельно на mdadm, а остальное - отдать под LVM

про R1, а особенно R10 - это очень спорно, а особенно в эпоху дисков боле 1 ТБ. никогда не видел как при схождении RAID по замене 1го диска отказывает другой?

дурью маешься. на деле если дисков 6 и более и они большие (2TB+) - можно смело R6 делать - так надёжнее нетрадиционных половых отношений с развалом RAID. как ни странно.

и да - mdadm умеет в R10 напрямую, нафига костыли?

И зачем, простите, такой бутерброд нужен? RAID внутри самого LVM подкупал возможностью создавать отдельные тома с заданным уровнем отказоустойчивости (хочешь отдельный том в RAID1 - не проблема. Хочешь рядом большой том, но без отказоустойчивости - окей).

А так у нас на современной системе мало того что с зеркалированием содержимого EFI раздела приходится без вариантов плясать(в Proxmox для этого даже понаписали отдельные удобные костыли), так еще и с корнем предлагается пердолиться?

Нет уж, спасибо. Где смог - я переехал на ZFS(и в нём я бы не отказался от возможности отдельно задавать отказоустойчивость для dataset, но эх - параметр copies это не то), где не смог - остался на чистом mdadm.

это не бутерброд, а управление рисками. mdadm+/ - очень надёжно работают вот уже много лет. но с управлением места у mdadm - не очень, он не для этого. вот там LVM и пригодится. а если что не так -то хотя бы / загрузится и дальше уже можно спокойно ковыряться.

У меня с LVM RAID негативный опыт - на трех разных дистрибутивах он отказался при загрузке автоматически подымать зеркальный(raid1) том из двух дисков, если один из дисков отсутствует (в отличие от mdadm).

activation_mode=degraded пробовал? В конфиге, и потом пересобрать initramfs

Пробовал, с корневой ФС это почему-то не сработало

Для очистки совести - /boot был вне lvm?

Да, отдельно

Собрал тестовый стенд и немного поигрался

Дай угадаю, ты в lvm создвал не raid1, а устаревший mirror?

• lvm raid1 грузился с одного диска вообще без проблем

• lvm mirror (устеревший) по дефолту не хочет (Refusing activation of partial LV vgroot/lvroot. Use ‘–activationmode partial’ to override)

Проверял на ubuntu 22.04. Если что, mirror, raid1 и linear конвертируются на лету, главное, чтобы в vg было немного места под их метаданные

и да - mdadm умеет в R10 напрямую, нафига костыли?

Окей, предположим, есть mdadm raid10 на 2 Тб дисках. Потом я возьму и заменю их всех на 3 Тб. Где именно появится свободное место?

Окей, предположим, есть mdadm raid10 на 2 Тб дисках. Потом я возьму и заменю их всех на 3 Тб. Где именно появится свободное место?

На некорректно поставленный вопрос вы получите некорректный ответ.

А в чем некорректность?

Насколько я знаю, mdadm создает блочное устройство, а не пул ресурсов

Если расширить «первую» половину raid0 (даже не принципиально, это будет stripe или jbod), новые блоки появятся не в конце. Или mdadm при таком расширении будет двигать всю половину рейда?

З.Ы. аппаратный рейд, наверное, стал бы двигать. Как-то мне не очень нравится идея повесить raid10 на mdadm, когда проще сделать два raid1 и объединить их по-человечески через lvm

Зачем что-то куда-то двигать?

В рейдах со страйпингом можно делать ролинг апгрейд: заменять диски по одному на диски большего объёма. Без остановки работы. После замены одного диска и перед заменой следующего надо лишь дождаться завершения фонового восстановления массива. После замены всех дисков можно расширить массив. Ничего двигать не надо, благодаря страйпингу в конце массива появляется новое незанятое место.

А вот про «человеческом» объединении двух массивов с помощью lvm (видимо под этим имеется в виду linear) и расширении обоих массивов свободное место появляется в конце каждого pv, и при расширении lv он уже состоит не из двух, а из четырёх кусков.

На мой взгляд linear не надо использовать для объединения дисков. Его надо использовать только как замену партициям.

Нет, создавал я именно raid1.

Про конвертацию на лету в курсе - в ходе другого эксперимента игрался с конвертацией raid1 в raid5. Впечатления так себе, если честно (в некоторых случаях нужна двухэтапная конверсия - что кагбе намекает на то, что на нормальных объемах данных быстро это не будет) - но хоть набор тестовых данных не потерял: и то хлеб.

странный вопрос, матчасть что ли не знаешь совсем?
сначала - нигде.

надо будет просто расширить md.

и да - R10 поверх 2ТБ+ дисков - не очень хороший подход.

ну если только не ТТД на PCIe. но там mdadm как-то не очень пригоден.

такое же мнение про смену зеркала на R5 в mdadm.
а я ещё на ошибку в коде напоролся. по итогу восстанавливал с РК.

я не прочитал это твоё сообщение.

да тепреь уже точно понятно, что матчасть mdadm ты не знаешь.

и вообще плохо представляешь себе RAID.

и про HW RAID - смешно. они же почти все вымерли? только не надо в 9440-8i тыкать )))))

у меня потому и предложение было для рута mdadm чтобы сравнительно безболезненно если чо загрузиться и уже дальше разбираться с LVM и прочим если необходимо. держать сами рабочие данные, не /, на LVM может иметь прямой смысл.

c mdadm все проблемы если будут - решается намного проще.

Нет, создавал я именно raid1.

Тогда что была за ОСь?

на самом деле это зависит от дефолтных настоек в lvm.conf. никто не мешает мейнтейнерам дистра прописать туда activationmode = complete.

Gentoo, Alpine и AlmaLinux. Версий двух последних я уже и не вспомню. Предлагаешь попробовать на современных версиях?

Как уже сказал, в ubuntu 22.04 работает без каких либо проблем (да, я отрывал оба диска по очереди. сначала один, проверить, потом вернуть, отребилдить и второй)

• gentoo никогда не щупал, для продуктива слишком маргинально.

• alpine минимальный для докеров, никогда не было мысли поставить его прямо на железо

• alma вроде клон rhel? Попробую проверить

centos7 сойдёт за almalinux?

корень на lvm raid1. грузится без любой половины raid’а

[root@centos7-i1 ~]# lvconvert --type raid1 --mirrors 1 centos/root
Are you sure you want to convert linear LV centos/root to raid1 with 2 images enhancing resilience? [y/n]: y
  Logical volume centos/root successfully converted.

[root@centos7-i1 ~]# lvconvert --type raid1 --mirrors 1 centos/swap
Are you sure you want to convert linear LV centos/swap to raid1 with 2 images enhancing resilience? [y/n]: y
  Logical volume centos/swap successfully converted.

# и /boot на mdadm, чтобы было с чего грузиться
[root@centos7-i1 ~]# mdadm --create --level=1 --metadata=1.0 --raid-devices=2 /dev/md0 /dev/sda1 /dev/sdb1
mdadm: array /dev/md0 started.

на консоли (кстати, обрати внимание, что lvm raid работает через тот же модуль device-mapper dm-raid, что и mdadm)

# это первый, LV centos/root
[  773.231077] async_tx: api initialized (async)
[  773.235825] xor: automatically using best checksumming function:
[  773.247532]    avx       : 18108.000 MB/sec
[  773.278534] raid6: sse2x1   gen() 10648 MB/s
[  773.296528] raid6: sse2x2   gen() 14023 MB/s
[  773.314530] raid6: sse2x4   gen() 16773 MB/s
[  773.331531] raid6: avx2x1   gen() 23574 MB/s
[  773.348529] raid6: avx2x2   gen() 27457 MB/s
[  773.365529] raid6: avx2x4   gen() 29789 MB/s
[  773.366498] raid6: using algorithm avx2x4 gen() (29789 MB/s)
[  773.367808] raid6: using avx2x2 recovery algorithm
[  773.387640] device-mapper: raid: Loading target version 1.14.0
[  775.905632] device-mapper: raid: Device 1 specified for rebuild; clearing superblock
[  775.907403] device-mapper: raid: Superblocks created for new raid set
[  775.928701] md/raid1:mdX: active with 1 out of 2 mirrors
[  776.012769] mdX: bitmap file is out of date, doing full recovery
[  776.069281] md: recovery of RAID array mdX
[  868.405193] md: mdX: recovery done.


# это второй, LV centos/swap
[  925.527844] device-mapper: raid: Device 1 specified for rebuild; clearing superblock
[  925.529739] device-mapper: raid: Superblocks created for new raid set
[  925.543693] md/raid1:mdX: active with 1 out of 2 mirrors
[  925.562089] mdX: bitmap file is out of date, doing full recovery
[  925.576564] md: recovery of RAID array mdX
[  941.475645] md: mdX: recovery done.

# ну и /boot, он для grub'а на mdadm
[ 1078.720134] md/raid1:md0: not clean -- starting background reconstruction
[ 1078.724621] md/raid1:md0: active with 2 out of 2 mirrors
[ 1078.727451] md0: detected capacity change from 0 to 536805376
[ 1078.734133] md: resync of RAID array md0
[ 1085.721161] md: md0: resync done.

жду завершения ребилда

[root@centos7-i1 ~]# lvs -a
  LV              VG     Attr       LSize   Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  root            centos rwi-aor--- <17.00g                                    100.00
  [root_rimage_0] centos iwi-aor--- <17.00g
  [root_rimage_1] centos iwi-aor--- <17.00g
  [root_rmeta_0]  centos ewi-aor---   4.00m
  [root_rmeta_1]  centos ewi-aor---   4.00m
  swap            centos rwi-aor---   2.00g                                    100.00
  [swap_rimage_0] centos iwi-aor---   2.00g
  [swap_rimage_1] centos iwi-aor---   2.00g
  [swap_rmeta_0]  centos ewi-aor---   4.00m
  [swap_rmeta_1]  centos ewi-aor---   4.00m

[root@centos7-i1 ~]# lsmod | grep -Ei '(dm|md)'
dm_raid                42838  2 
raid456               151196  1 dm_raid
dm_mirror              22326  0 
dm_region_hash         20813  1 dm_mirror
dm_log                 18411  2 dm_region_hash,dm_mirror
dm_mod                124499  32 dm_raid,dm_log,dm_mirror

обновляю initrd и grub2 config

[root@centos7-i1 ~]# mkinitrd /boot/initramfs-$(uname -r).img $(uname -r)
[root@centos7-i1 ~]# grub2-mkconfig > /boot/grub2/grub.cfg

и вперед, проверять

[root@centos7-i1 ~]# shutdown -h now

отрываю один диск, загрузка без проблем

# на консоли:
[    3.594607] device-mapper: raid: Loading target version 1.14.0
[    3.614997] device-mapper: raid: Failed to read superblock of device at position 1
[    3.675484] md/raid1:mdX: active with 1 out of 2 mirrors
[  OK  ] Found device /dev/mapper/centos-root.
         Starting File System Check on /dev/mapper/centos-root...
[    3.848458] device-mapper: raid: Failed to read superblock of device at position 1
[  OK  ] Started File System Check on /dev/mapper/centos-root.
[    3.887109] md/raid1:mdX: active with 1 out of 2 mirrors


[root@centos7-i1 ~]# lvs -a
  WARNING: Device for PV wWe5LG-4pJG-VNB1-asnF-za1T-EcRI-J1m2fa not found or rejected by a filter.
  Couldn't find device with uuid wWe5LG-4pJG-VNB1-asnF-za1T-EcRI-J1m2fa.
  LV              VG     Attr       LSize   Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  root            centos rwi-aor-p- <17.00g                                    100.00
  [root_rimage_0] centos iwi-aor--- <17.00g
  [root_rimage_1] centos Iwi-aor-p- <17.00g
  [root_rmeta_0]  centos ewi-aor---   4.00m
  [root_rmeta_1]  centos ewi-aor-p-   4.00m
  swap            centos rwi-aor-p-   2.00g                                    100.00
  [swap_rimage_0] centos iwi-aor---   2.00g
  [swap_rimage_1] centos Iwi-aor-p-   2.00g
  [swap_rmeta_0]  centos ewi-aor---   4.00m
  [swap_rmeta_1]  centos ewi-aor-p-   4.00m

[root@centos7-i1 ~]# shutdown -h now

теперь возвращаем диск и проверям

# консоль:
[    3.830930] device-mapper: raid: Loading target version 1.14.0
[    3.904489] md/raid1:mdX: active with 2 out of 2 mirrors
[  OK  ] Found device /dev/mapper/centos-root.
         Starting File System Check on /dev/mapper/centos-root...
[  OK  ] Started File System Check on /dev/mapper/centos-root.
[    4.006852] md/raid1:mdX: active with 2 out of 2 mirrors

# после загрузки:
# lvm отребилдился автоматически
[root@centos7-i1 ~]# lvs -a
  LV              VG     Attr       LSize   Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  root            centos rwi-aor--- <17.00g                                    100.00
  [root_rimage_0] centos iwi-aor--- <17.00g
  [root_rimage_1] centos iwi-aor--- <17.00g
  [root_rmeta_0]  centos ewi-aor---   4.00m
  [root_rmeta_1]  centos ewi-aor---   4.00m
  swap            centos rwi-aor---   2.00g                                    100.00
  [swap_rimage_0] centos iwi-aor---   2.00g
  [swap_rimage_1] centos iwi-aor---   2.00g
  [swap_rmeta_0]  centos ewi-aor---   4.00m
  [swap_rmeta_1]  centos ewi-aor---   4.00m
[root@centos7-i1 ~]#

# mdadm нужно пнуть
[root@centos7-i1 ~]# mdadm --add /dev/md0 /dev/sda1

# следующая серия:
[root@centos7-i1 ~]# shutdown -h now

отрываю другой диск

# на консоли при загрузке:
[    3.684282] device-mapper: raid: Loading target version 1.14.0
[    3.712118] device-mapper: raid: Failed to read superblock of device at position 0
[    3.770076] md/raid1:mdX: active with 1 out of 2 mirrors
[  OK  ] Found device /dev/mapper/centos-root.
         Starting File System Check on /dev/mapper/centos-root...
[  OK  ] Started File System Check on /dev/mapper/centos-root.
[    3.857937] device-mapper: raid: Failed to read superblock of device at position 0
[    3.894837] md/raid1:mdX: active with 1 out of 2 mirrors


# после
[root@centos7-i1 ~]# lvs -a
  WARNING: Device for PV Kx4zq3-Kj42-8OQz-mzxO-TDXx-59I0-qsfTaQ not found or rejected by a filter.
  Couldn't find device with uuid Kx4zq3-Kj42-8OQz-mzxO-TDXx-59I0-qsfTaQ.
  LV              VG     Attr       LSize   Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  root            centos rwi-aor-p- <17.00g                                    100.00
  [root_rimage_0] centos Iwi-aor-p- <17.00g
  [root_rimage_1] centos iwi-aor--- <17.00g
  [root_rmeta_0]  centos ewi-aor-p-   4.00m
  [root_rmeta_1]  centos ewi-aor---   4.00m
  swap            centos rwi-aor-p-   2.00g                                    100.00
  [swap_rimage_0] centos Iwi-aor-p-   2.00g
  [swap_rimage_1] centos iwi-aor---   2.00g
  [swap_rmeta_0]  centos ewi-aor-p-   4.00m
  [swap_rmeta_1]  centos ewi-aor---   4.00m
[root@centos7-i1 ~]# shutdown -h now