ZFS best practices

Куча мелких файлов, которые неэффективно сжимать

zfs create -o compress=off pool/zfsset
zfs set atime=off pool/zfsset

Большие файлы, по ~ 20-60Gb

zfs create -o compress=lz4 pool/zfsset1

спасибо за ответ, попробую

zfs create -o compress=lz4 pool/zfsset1

оно внутри уже lz4 пожато, будет ли эффективно?

оно внутри уже lz4 пожато, будет ли эффективно?

Нет. Если всё пожато, то отключай компрессию zfs set -o compression=off pool/dataset. Лучше сделать несколько ФС по типам данных и где данные предположительно сжимаемые - включить компрессию, где несжимаемые выключить.

я хочу сделать 2 пула под вышеописанные данные, на 2-х разных LUN-ах. мелкие файлы все пожаты и зашифрованы, компрессия бессмысленна, большие внутри сжаты lz4. т.е. компрессию можно, думаю, не включать вообще. каким-то еще образом можно производительность увеличить? сейчас с ней наблюдаются проблемы, iowait бывает в район 30-50%.

каким-то еще образом можно производительность увеличить?

zfs_arc_max увеличить и прикрутить l2arc на ssd http://habrahabr.ru/sandbox/71332/

Для датасета с большими файлами выстави recordsize=1m, а для мелких попробуй поиграться с уменьшением размера recordsize(128к по умолчанию) и заодно посмотри какой размер очереди zfs_vdev_max_pending.

ssd под кэш и логи, переход на raid 10, увеличение кол-ва зеркал на десяторейде, оперы в зависимости от задач и объемов, но не как не меньше 4гб лично в руки самой ФС.

все вышеописанное уже используется. оперативки раз в 10 больше выделил, чем ты описал. в принципе, сейчас стало полегче, после разнесение на разные LUNы разных датасетов, выключения atime и пр. изменений

разнесение на разные LUN

вот здесь подробнее, диски под zfs, что не на локалхосте, а по сетке прилепают?

да, локалхоста нет вообще, есть ноды с ESXi и SAN.