LINUX.ORG.RU
решено ФорумAdmin

Массив ZFS(raidz1)

 , ,


0

1

На домашнем сервере Proxmox система стоит на двух SSD ZFS (RAID1), хранилище на четырех HDD ZFS(raidz1). Сервер разбирал отлкючал все диски, после собрал обратно, подключил все диски. Сейчас не видится массив ZFS(raidz1). Сами диски видны в системе. Можно как то вернуть обратно ZFS(raidz1)? root@pve:~# zpool list -v NAME SIZE ALLOC FREE CKPOINT EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT rpool 222G 10.2G 212G - - 5% 4% 1.00x ONLINE - mirror 222G 10.2G 212G - - 5% 4.58% - ONLINE
ata-KINGSTON_SH103S3240G_50026B7246099E01-part3 - - - - - - - - ONLINE
ata-KINGSTON_SH103S3240G_50026B72480A3995-part3 - - - - - - - - ONLINE

root@pve:~# lsblk –fs NAME FSTYPE LABEL UUID FSAVAIL FSUSE% MOUNTPOINT sda zfs_member rpool 4698864981925923403
├─sda1 zfs_member rpool 4698864981925923403
├─sda2 vfat rpool 53F1-E385
└─sda3 zfs_member rpool 4698864981925923403
sdb zfs_member rpool 4698864981925923403
├─sdb1 zfs_member rpool 4698864981925923403
├─sdb2 vfat rpool 53F1-6511
└─sdb3 zfs_member rpool 4698864981925923403
sdc
├─sdc1 zfs_member rpoolz 12671788503661438709
└─sdc9
sdd
├─sdd1 zfs_member rpoolz 12671788503661438709
└─sdd9
sde
├─sde1 zfs_member rpoolz 12671788503661438709
└─sde9
sdf
├─sdf1 zfs_member rpoolz 12671788503661438709
└─sdf9

https://0x0.st/-2pj.png

Сервер разбирал отлкючал все диски, после собрал обратно, подключил все диски. Сейчас не видится массив ZFS(raidz1). Сами диски видны в системе.

Подключил диски обратно не в той последовательности (например sda стал sdc, и/или sdc стал sdb)?

Что говорит zpool import <pool-name>?

mord0d ★★★★★ ()

Так делают только мудаки, всегда, запомни ВСЕГДА собирай массивы по /dev/disk/by-id.

anonymous ()
Ответ на: комментарий от Aquarius25

И да, пожалуйста оформляй свои вопросы нормально, трудно читать и нет желания помогать лишний раз

zgen ★★★★★ ()
Ответ на: комментарий от mord0d

Подключил диски обратно не в той последовательности (например sda стал sdc, и/или sdc стал sdb)?

Давным-давно уже исправили, можно собирать по именам.

zemidius ()
Ответ на: комментарий от Aquarius25

directory is not empty

Кто-то насрал в маунтпоинт пула.

mord0d ★★★★★ ()
Ответ на: комментарий от zemidius

И пересобирать тоже. Я же говорю - баг давно исправлен.

Чтобы пул пересобрать, нужно его нужно вначале импортировать. А чтобы его импортировать — нужны диски в изначальных местах, хотя бы критическая их часть для импорта хотя бы в DEGRADED.

mord0d ★★★★★ ()
Ответ на: комментарий от mord0d

А чтобы его импортировать — нужны диски в изначальных местах

Уже нет afaik. Не могу найти в changelog, но почему-то отчетливо помню, что оно было в новостях и обсуждалось. Поищу.

zemidius ()
Ответ на: комментарий от zemidius

А чтобы его импортировать — нужны диски в изначальных местах

Уже нет afaik. Не могу найти в changelog, но почему-то отчетливо помню, что оно было в новостях и обсуждалось. Поищу.

А, всё, понял! Вспомнил! OpenZFS теперь ищет мемберов пула по меткам, проходя по дискам рекурсивно, если не нашло мембера на ожидаемом месте. Есть такое, да.

mord0d ★★★★★ ()
Ответ на: комментарий от zemidius

Чуть позже попытаюсь найти пруфлинк

Может кому и пригодится. Но я видел это в рассылке, просто не сразу вспомнил (во FreeBSD завезли OpenZFS только в марте этого года, у меня от старой ZFS ещё не вся каша из головы выветрилась).

mord0d ★★★★★ ()
Ответ на: комментарий от anonymous

Не by-id, а by-path. Потому, что диски будут меняться на определённом компе с определённой конфигурацией и проще составить табличку какой порт/слот в корзине имеет идентификатор и потом маркером пронумеровать диски. Тогда не будет проблем и 22 диск будет вставлен в 22:0 слот согласно табличке.

system-root ★★★★★ ()
Ответ на: комментарий от mord0d

А что изменилось, разве в OpenZFS не поддерживается импорт пула по любым быстрее найденным путям к устройствам?

iZEN ★★★★★ ()
Ответ на: комментарий от iZEN

разве в OpenZFS не поддерживается импорт пула по любым быстрее найденным путям к устройствам?

Теперь поддерживается. Просто я об этом как-то забыл. (%

Раньше оно искало мембера по указанному в самом пуле (или в кэш-файле) адресу, если не находило — сдавалось. Импорт, соответственно, фейлился.

mord0d ★★★★★ ()
Последнее исправление: mord0d (всего исправлений: 2)
Ответ на: комментарий от mord0d

Раньше это когда? По-моему всегда нормально было, начиная с объявления о готовности ZFS к продакшену на FreeBSD. Может у OpenZFS были свои закидоны?

iZEN ★★★★★ ()
Последнее исправление: iZEN (всего исправлений: 1)
Ответ на: комментарий от iZEN

Может у OpenZFS были свои закидоны?

Были.

Я ж не всегда сидел на FreeBSD с ZFS, до неё была Gentoo с ZFS.

mord0d ★★★★★ ()
Ответ на: комментарий от iZEN

По-моему всегда нормально было, начиная с объявления о готовности ZFS к продакшену на FreeBSD.

У FreeBSD и нативной ZFS под неё тоже были закидоны, поэтому делали пул на gpt-метках

zemidius ()

Спасибо всем кто участвует в обсуждении вопроса. Сегодня хотел попробовать перебрать все варианты подключения четырех жестких дисков массива. Но перед этим решил выполнить команду zpool list , оказалось что мой массив ZFS(raidz1) появился, произошло это примерно через двое суток после включения сервера. Я ни чего не делал, массив появился сам. Единственное что сейчас почему то один диск массива отображается как SSD, а остальные как ata-TOSHIBA_..., хотя все диски одной модели. Не подскажете почему один диск отображается как SSD?

root@pve:~# zpool list
NAME     SIZE  ALLOC   FREE  CKPOINT  EXPANDSZ   FRAG    CAP  DEDUP    HEALTH  ALTROOT
rpool    222G  10.2G   212G        -         -     5%     4%  1.00x    ONLINE  -
rpoolz  14.5T  2.23T  12.3T        -         -     0%    15%  1.00x    ONLINE  -
root@pve:~# zpool list -v
NAME                                                  SIZE  ALLOC   FREE  CKPOINT  EXPANDSZ   FRAG    CAP  DEDUP    HEALTH  ALTROOT
rpool                                                 222G  10.2G   212G        -         -     5%     4%  1.00x    ONLINE  -
  mirror                                              222G  10.2G   212G        -         -     5%  4.58%      -  ONLINE  
    ata-KINGSTON_SH103S3240G_50026B7246099E01-part3      -      -      -        -         -      -      -      -  ONLINE  
    ata-KINGSTON_SH103S3240G_50026B72480A3995-part3      -      -      -        -         -      -      -      -  ONLINE  
rpoolz                                               14.5T  2.23T  12.3T        -         -     0%    15%  1.00x    ONLINE  -
  raidz1                                             14.5T  2.23T  12.3T        -         -     0%  15.3%      -  ONLINE  
    ata-TOSHIBA_MG04ACA400E_X983KBTPFJKA                 -      -      -        -         -      -      -      -  ONLINE  
    sdd                                                  -      -      -        -         -      -      -      -  ONLINE  
    ata-TOSHIBA_MG04ACA400E_X985K8SBFJKA                 -      -      -        -         -      -      -      -  ONLINE  
    ata-TOSHIBA_MG04ACA400E_X9JBK3TCFJKA                 -      -      -        -         -      -      -      -  ONLINE  
Aquarius25 ()
Ответ на: комментарий от Aquarius25

Видимо, единственный диск, который попал на своё изначальное место.

Radjah ★★★★★ ()
Ответ на: комментарий от zemidius

До сих пор наблюдаю импорт пулов по DISKID вместо GPT LABEL.

iZEN ★★★★★ ()

Совет на будущее (из личного опыта) - клей на диски стикеры с названием порта на материнке, в который они подключены.

Очень выручает при манипуляциях с железом.

ololoid ★★★★ ()
Ответ на: комментарий от ololoid

Совет на будущее (из личного опыта) - клей на диски стикеры с названием порта на материнке, в который они подключены.

Очень выручает при манипуляциях с железом.

Плюсую данного регистранта!

Причём вполне актуально даже для однодисковых сетапов — портов в матплате всегда больше, и фиг его знает как поведёт себя юзерспейс.

mord0d ★★★★★ ()
Последнее исправление: mord0d (всего исправлений: 1)
Ответ на: комментарий от ololoid

Стикеры на дисках и так есть - их серийные номера. Достаточно использовать уникальную часть серийного номера в качестве идентификатора устройства в пуле. Серийники отображаются dmesg после опроса устройств в процессе загрузки и никуда не пропадают с исправных носителей. И клеить ничего не придётся.

iZEN ★★★★★ ()
Последнее исправление: iZEN (всего исправлений: 1)
Ответ на: комментарий от iZEN

Вы, наверное, программист?

Только они могу дать такой точный и правильный, но абсолютно бесполезный IRL совет.

P.S. No offense.

ololoid ★★★★ ()
Ответ на: комментарий от Aquarius25

Но перед этим решил выполнить команду zpool list , оказалось что мой массив ZFS(raidz1) появился, произошло это примерно через двое суток после включения сервера. Я ни чего не делал, массив появился сам.

А zpool import raidz1 кто делал, Дед Мороз?

Вот с того момента он у тебя и импортирован, только некоторые (все?) файловые системы не могли быть смонтированы по умолчанию, из-за того, что кто-то нагадил в точки монтирования.

zfs get -r mounted raidz1 в зубы и выяснять, что не смонтировано, дальше смотреть zfs get mountpoint на предмет того, где должно было быть, смотреть, что помешало, устранять, и zfs mount / zfs mount -a чтобы таки смонтировать.

Перед началом процесса настоятельно рекомендуется RTFM.

anonymous ()
Для того чтобы оставить комментарий войдите или зарегистрируйтесь.