LINUX.ORG.RU

26
Всего сообщений: 63

zfs отправка снимка

Имею два пулла dpool и rpool:

# zfs list
NAME             USED  AVAIL  REFER  MOUNTPOINT
dpool           85,5K   860G    24K  /dpool
rpool            428G  1,38T    24K  /rpool
rpool/zlvm       428G  1,38T   428G  -
rpool/zlvm@new   456M      -   428G  -

Отправляю снимок new в dpool:

zfs send rpool/zlvm@new | pv -L 100m | zfs recv dpool/zlvm@new

Передаёт эта сволочь не 430G а 701G:

# zfs list
NAME             USED  AVAIL  REFER  MOUNTPOINT
dpool            701G   159G    24K  /dpool
dpool/zlvm       701G   159G   701G  -
dpool/zlvm@new     0B      -   701G  -
rpool            431G  1,38T    24K  /rpool
rpool/zlvm       430G  1,38T   428G  -
rpool/zlvm@new  2,73G      -   428G  -

Может кто объяснить почему?

 , ,

el_paso ()

ZFS: volume -> mirror в online

Есть используемый диск в zpool, хочется сделать из него mirror без перевода zpool в offline. Без потери данных, естественно.

 , , ,

Harliff ()

Какими командами сделать RAID на часть диска?

Идея такая:
- сделать суперблок версии 1.0 (в конце диска)
- в суперблоке ограничить размер зеркалируемой области несколькими мегабайтами (чтобы зеркалировался MBR и core.img)
- на оставшейся части диска развести ZFS (его умеет GRUB и ядро linux)

-z, --size= Amount (in Kibibytes) of space to use from each drive in RAID levels 1/4/5/6. This must be a multiple of the chunk size, and must leave about 128Kb of space at the end of the drive for the RAID superblock. If this is not specified (as it normally is not) the smallest drive (or partition) sets the size, though if there is a variance among the drives of greater than 1%, a warning is issued.

A suffix of 'M' or 'G' can be given to indicate Megabytes or Gigabytes respectively.

это оно?

Что будет, если начальная часть диска зеркалируется как RAID1, а остаток диска зеркалируется как RAID6 (на разделе)? (в смысле, будет ли модуль md в таком сетапе так работать или нет).

 , ,

Einstok_Fair ()

ZFS - в чём от неё профит?

многие до сих пор живут в темных веках lvm

Что нового с 2015-года? Где почитать отчёты (ну кроме ограничения памяти)?

Кто читал Gentoo ZFS Howto, что там пишут интересного? Почему ZFS особенно хорошо/особенно плохо использовать с LXC?

Почему вы лично рады и гордитесь тем, что пользуетесь ZFS? Существует ли сертификация на "проповедников" zfs?

Какие книги про ZFS вы почитали? написали?
- http://maxim.int.ru/stuff/zfs/fmzfs twp 2015-05-21.pdf
- http://hub.opensolaris.org/bin/download/Community Group zfs/docs/ondiskformat...

Действительно ли ZFS позволяет повысить аптайм по сравнению с mdadm/lvm ? За счёт чего?

Сколько денег вы потратили на внедрение ZFS и сколько денег она вам сэкономила?

 , ,

Einstok_Fair ()

ZFS Docker

Здарова лоровцы!

Есть ubuntu 17.10 на zfs, внезапно встала нужда заюзать docker-ce, однако с zfs он сильно плохо работает без настройки. Собственно настройка описана тут.

Как я понял, в доке сказано, что делать если у Вас отдельное запоминающее устройство, но отдельного нет в моём случае.

Итак, конфигурация сервера такая:

# zfs list
NAME                USED  AVAIL  REFER  MOUNTPOINT
rpool               384G  4,87T   128K  /
rpool/ROOT         7,19G  4,87T   128K  none
rpool/ROOT/ubuntu  7,19G  4,87T  6,55G  /
rpool/home          915M  4,87T   128K  /home
rpool/home/anton    915M  4,87T   915M  /home/anton
rpool/home/root     165K  4,87T   165K  /root
rpool/srv          52,4M  4,87T  52,4M  /srv
rpool/storage       370G  4,87T   370G  /storage
rpool/swap         4,25G  4,87T  2,86G  -
rpool/var          1,94G  4,87T   128K  /var
rpool/var/cache     758M  4,87T   758M  /var/cache
rpool/var/log      1,18G  4,87T  1,18G  legacy
rpool/var/mail      128K  4,87T   128K  /var/mail
rpool/var/spool    24,1M  4,87T  24,1M  /var/spool
rpool/var/tmp       181K  4,87T   181K  legacy

«/var/lib/docker» я так понимаю, что нужно сделать как отдельный раздел (датасет), но что-то не получается:

# zfs create -o mountpoint=/var/lib/docker rpool/var/lib/docker
cannot create 'rpool/var/lib/docker': parent does not exist

Собственно, вопросы. В том ли направлении я мыслю? И какого рожна не могу сделать датасет?

 ,

AntonyRF ()

zsf-pool backup

Привет. У меня вопрос, если, допустим, у меня есть zsf-pool , размер которого равен почти полному объему реального диска. Больше дисков в системе нет. Допустим, lxc контейнер заполнил датой весь пул.

И вот в этот момент, я, предположим, хочу экспортировать lxc контейнер в виде имиджа на /webdav/smb/nfs шару. У меня получится? Или там экспорт только через снепшот , которого я не смогу сделать, потому что нет места?

 , ,

constin ()

zfs востановление

Добрый день.

Был пул из двух дисков raid-1 на ZFS.

На обоих дисках была очищена таблица разделов.

Какие есть варианты восстановить?

testdisk ничего не находит.

 ,

el_paso ()

zfs не создаёт /dev/zvol/...

debian8

root@debian:~# zpool create -f tank raidz3 /dev/sda1 /dev/sdb1 /dev/sdc1 /dev/sdd1
root@debian:~# zfs create tank/disk0 

тут я ожидаю, что у меня будет устройство

/dev/zvol/tank/disk0
а его нет.

Но вот есть получаю смонтированный раздел

root@debian:~# df -h|fgrep tan
tank            472M     0  472M   0% /tank
tank/disk0      472M     0  472M   0% /tank/disk0

в устройствах ничего

root@debian:~# ls /dev/z*
/dev/zero  /dev/zfs

и вообще ничего

root@debian:~# du -a / 2>/dev/null|fgrep disk0
0	/sys/fs/cgroup/systemd/system.slice/tank-disk0.mount/tasks
0	/sys/fs/cgroup/systemd/system.slice/tank-disk0.mount/cgroup.procs
0	/sys/fs/cgroup/systemd/system.slice/tank-disk0.mount/cgroup.clone_children
0	/sys/fs/cgroup/systemd/system.slice/tank-disk0.mount/notify_on_release
0	/sys/fs/cgroup/systemd/system.slice/tank-disk0.mount
1	/tank/disk0

как получить устройство?

debian 8 чистый никаких других манипуляций с ним не производил до описанного кроме утановки пакетов zfs-dkms zfsutils-linux

 , , , ,

VoDD87 ()

Gentoo + ZFS

Кто-нибудь использует gentoo + нативное шифрование в zfs? Сам использую gentoo + luks. Интересует производительность и стабильность.

 , , ,

hardentoo ()

В ZFS (ZoL) добавили нативный encryption

 ,

ahdenchik ()

релиз ZFSonLinux 0.7.0


Добавлена возможность делегирования непривилегированному пользователю прав на администрирование файловых системам ZFS. Управление правами осуществляется при помощи команд «zfs allow» и «zfs unallow»;
Непривилегированные пользователи теперь могут выполнять команды «zpool list», «zpool iostat», «zpool status», «zpool get», «zfs list», «zfs get» без необходимости добавления в /etc/sudoers;
Поддержка аккаунтинга и квот для объектов отдельных пользователей и групп. Для установки лимитов и просмотра состояния предлагается использовать команды «zfs userspace» и «zfs groupspace»;
Поддержка хранения контрольных сумм с использованием более надёжных криптографических хэшей SHA-512, Skein и Edon-R;
Поддержка прерывания работы команд zfs send/receive (например, из-за сетевого сбоя или проблем на удалённой системе) c последующим возобновлением выполнения операции;
Возможность переноса сжатых данных из одного пула в другой при помощи команд zfs send/receive (данные напрямую обрабатываются в сжатом виде без промежуточной распаковки). Для включения сжатия представлена опция "-c";
Обеспечена защита операций импорта пула в отказоусточивых конфигурациях - совместно используемый пул теперь одновременно не может быть импортирован на разные хосты (перед началом операции импорта теперь выполняется проверка, не запущен ли уже импорт на другой хост);
Возможность настройки параметров, отображаемых в столбцах со статистикой, выводимой командами «zpool iostat» и «zpool status». Например, в вывод теперь можно включить данные мониторинга SMART, параметры датчиков температуры, статус индикаторов и т.п.
В команду «zpool iostat» добавлены опции "-l", "-w" и "-r", позволяющие наглядно оценить задержки и размер обрабатываемых в данный момент запросов в привязке к отдельным дискам;
В команду «zpool scrub» добавлена опция "-p", позволяющая приостановить выполнение проверки целостности без её полной отмены (для возмобновления проверки нужно ещё раз запустить «zpool scrub -p»);
Поддержка больших dnode, позволяющих увеличит производительность работы с метаданными за счёт сохранения внутри dnode расширенных атрибутов, ACL и символических ссылок, связанных с длинными именами файлов. Выигрыш особенно ощутим в системах с SELinux и распределёнными ФС, такими как Lustre и Ceph;
Новые возможности режима JBOD (представление нескольких дисков как одного целого с резервированием): автоматический перевод новых дисков в режим online; автоматическая замена выведенного из пула диска на новый диск; автоматическое подключение дисков для горячей замены в случая сбоя; индикация сбоев при помощи светодиодов; мониторинг проблем и автоматический перевод диска в состояние сбоя при превышении порога несоответствия контрольных сумм; возможность ручной пометки диска сбойным (zpool offline -f); режим multipath;
Порция оптимизаций:
Новый метод выделения буферов ARC, минимизирующий фрагментацию структур в оперативной памяти;
По умолчанию хранение данных в кэше с использование сжатия с распаковкой налету; задействование векторных SIMD-инструкций CPU (sse2, ssse3, avx2, avx512f, avx512bw, neon, neonx2) в реализации RAIDZ и в коде расчёта контрольных сумм;
Возможность применения аппаратного ускорения GZIP-сжатия (QAT);
Ускорение работы с метаданными за счёт более активного использования многопоточности, пакетного выполнения операций и упреждающего запроса данных;
Ускорение процесса восстановления избыточности в RAIDZ - теперь проверяется только целостность секций, подлежащих перестроению;
Число фоновых обработчиков теперь выбирается динамически в зависимости от нагрузки, рабочие потоки создаются и отключаются по мере возникновения необходимости;
Добавлено 42 новых параметра для тонкой настройки работы модуля ядра.
Поддерживаются ядра c 2.6.32 по 4.12

 ,

King_Carlo ()

Добавить дисков в raidz

Решил применить zfs под хранилку ибо задолбал железный рейд и нужен контроль целостности бэкапов.
ZFS умеет добавлять/убавлять диски в массиве, расширяться/убавляться ?
В тред призываются zfs проповедники.

 ,

bdfy ()

ZFS on Linux отвалился после обновления

Debian stable, подключен jessie-backports. После обновления (и автоматической пересборки) DKMS модуля ZFS этот модуль перестал загружаться . modprobe zfs выдаёт modprobe: ERROR: could not insert 'zfs': Unknown symbol in module, or unknown parameter (see dmesg). В dmesg zfs: Unknown symbol setattr_prepare (err 0)

Что делать? У меня паника

 , , , ,

MrClon ()

Zfsonlinux 0.6.5.9

Уже 11 дней прошло с релиза версии 0.6.5.9, а на этом уважаемом ресурсе ни гугу. Пофикшена пачка багов, с которыми, впрочем, мало кто сталкивался, но тем не менее релиз состоялся.
https://github.com/zfsonlinux/zfs/releases/tag/zfs-0.6.5.9

 , ,

King_Carlo ()

ZoL Encryption

Я правильно понимаю, что рассчитывать на ключик zfs create -o encryption=on на онтопике бесполезно?

 ,

Ingwar ()

zpool status отображает не те устройства пула, с которыми он был создал

Чистая установка Gentoo на ZFS mirrored pool из двух дисков. Пул создавался с полными устройствами из /dev/disk/by-id. Всё поставилось нормально, но в zpool status устройства стали называться sda,sdb. В zpool.cache - sda,sdb.
Выдернул один винт, воткнул обратно, подключил к пулу, в zpool status - sdb и имя-by-id. В zpool.cache - sdb, имя-by-id, после ребута в zpool status опять sda,sdb.
Погуглил, загрузился с лайва, zpool import -d /dev/disk-by-id, в zpool.cache - имя-by-id1, имя-by-id2. Копирую zpool.cache в систему, ребут, в zpool.cache - имя-by-id1, имя-by-id2, в zpool status опять sda,sdb.
Это нормально, что имена меняются?
Если я хочу имена из by-id/ при корне на этом пуле, я хочу странного?
Нужно/можно ли с этим что-то делать?

 , ,

GAMer ()

Как построить ZFS 32 bit в Debian Wheezy?

пробовал из src репозитария
выдает ошибки при компиляции
все нужные пакеты поставил

может быть есть репозитарий с готовыми пакетами?

 

sanyock ()

ZFS on Linux

Кто пользовался? Можно ли использовать на боевом сервере? Интересует конкретно сабж (не пишите: ... поставь лучше ...fs).

 , , , ,

blue-coke ()

Подвисает Atom ITX во время длительной работы rm в ZFS директории

ZFS используется в основном только ради зеркала и снэпшотов ну и в общем для унификации, сколько-нибудь значительной нагрузки на дисковую подсистему нет, оперативки 4 гига, обычно свободно примерно половина оперативки.

Диски - древние, пара почти одинаковых Seagate Momentus 80G в zmirror.

До недавнего времени эта шарманка работало относительно стабильно, но недавно после перезагрузки комп начал попискивать, сначала думал, что-то с материнкой, потому пошевелил SATA шлейф - и писки прекратились, пошла загрузка.

После этого компик стал еженочно подвисать во время rm в каталоге с большим количеством мелких файлов.

Сразу же после запуска rm появляются сообщения примерно такого содержания:
kernel «BUG: soft lockup - CPU#1» «stuck for 22s!».

Debian Jessie 8.x latest
пробовал ядра: 4.5, 3.16 - разницы никакой

подобное гуглится: https://www.google.com/search?as_q="BUG: soft lockup - CPU#1" "stuck for 22s!...

По словам Behlendorf «где-то что-то тормозит и мешает ZFS».

Я такого никогда раньше не видел ни на одном компе.

С моей точки зрения виноват один из SATA интерфейсов или дисков.

Припоминаю, как то давно однажды неудачно схватил один из этих дисков во время его работы, было не до осторожности, да и стоимость у него копеечная, обычно при низкой стоимости и доступности запчастей в первую очередь экономлю свое время.

Крышка легко продавливается, он завизжал, наверно своей механикой, но скорее всего не поверхностью, потому что bad блоков нет, ремапов тоже нет, поверхности по смарту у обоих дисков чистые, но очень много Hardware_ECC_Recovered, причем у одного из дисков на порядок больше другого.

Утилизация дисков около 5% иногда всплески до 50%.

dstat почти по нулям показывает при этом каждые 5 минут сыпятся сообщения soft lockup - CPU#1" «stuck,

Через несколько часов шарманка виснет.

Из идей:

1) Поменять шлейф SATA, диска, предположительно который попискивал на старте.

2) Попробовать на одтельных частях зеркала без второго диска.

Ну и вопрос как обычно в том, что делать :)

 ,

sanyock ()

Не получается загрузиться из ZFS пула на SAS контроллере

Грузиться пытаюсь с помощью grub4dos с флэшки, на флэшке: загрузчик, ядро, initrd

системный корневой раздел в ZFS dataset: data/system

При старте ядра и initrd появляется такое сообщение:
http://picpaste.com/pics/2quDoY6w.1468301139.jpg
на любом сервере с SAS контроллером
дрова в initrd есть

root (hd0,0)/xxx/debian
kernel /vmlinuz-3.16.0-0.bpo.4-amd64 boot=zfs root=data/system ro vga=785 selinux=0 ipv6.disable=1
initrd /initrd.img-3.16.0-0.bpo.4-amd64

аналогичный конфиг на ура работает на десктопе с SATA контроллером

rootdelay=30, секунд через 10 ожидания вижу появление всех sd*, подключенных к HBA LSI

проблему легко обойти, добавив еще один винт для системы, подключенный к SATA, но хотелось бы загрузиться из пула, Dataset: data/system

 

sanyock ()