LINUX.ORG.RU

Кто-нибудь юзает ZFS on Linux в продакшене?

 , ,


2

3

Меня очень напрягло такое большое исправление багов https://github.com/zfsonlinux/zfs/releases/tag/zfs-0.6.4 в недавнее время.

С другой стороны автор крутит ZFS на кластере с люстрой. Кто-нибудь юзал в продакшене (или хотя бы на десктопе) ZFS on Linux? И как оно? Проблем не было?

30 месяцев используется у меня лично на собственных серверах с виртуализацией, знаю еще больше десятка крупных фирм которые его крутят , есть нюансы использования, это софт не из разряда сел и поехал не куря манов, нужно понимать зачем оно и видеть реальные профиты от него.

vxzvxz ★★★
()

Использую на сервере, на котором хранятся логи NAT-трансляций для гэбистов. Логи пишутся в pgsql-базу, база живёт на датасете с compression=gzip-9. Пул пока состоит из одного раздела (который соседствует с LVM PV, на котором живёт система). Пишет хорошо, читает долго, но гэбисты не жалуются, а мне норм. ARC на сервере минимален. Вот и весь продакшен. Для остального застолбил себе сервачок с 16 дисками и вкатил туда SmartOS, изучаю помаленьку.

spijet ★★★
()
Ответ на: комментарий от vxzvxz

30 месяцев используется у меня лично на собственных серверах с виртуализацией

Именно линуксовый вариант ZFS?
SSD юзаете?

нюансы использования

Какие? Вбухать блок в 1Мб и SSD-кэша чем больше, тем лучше?

ktulhu666 ☆☆☆
() автор топика
Ответ на: комментарий от ktulhu666

Виртуализация пишет на диск без кэша, для предотвращения потери данных. В случае с ZFS это будет очень медленно, если не использовать ZIL.

spijet ★★★
()

Кто-нибудь юзал в продакшене (или хотя бы на десктопе) ZFS on Linux?

Я юзаю, везде его пихаю с версии 0.6.1 :) Есть пулы с виртуальными машинами на zvol, есть файлопомойки, есть бд на zfs, есть кэши l2arc на ssd. В основном хосты на ubuntu 12.04(14.04), есть немного на centos 7, всё работает глюков нет.

King_Carlo ★★★★★
()
Ответ на: комментарий от ktulhu666

Вбухать блок в 1Мб и SSD-кэша

))) не стоит использовать zfs не изучив что это такое. все тонкости (начиная от железа и кончая настройками ФС) уже писаны переписаны по 100 раз даже здесь на этом форуме.

Кто-нибудь юзал в продакшене (или хотя бы на десктопе) ZFS on Linux?

О чем разговор proxmox уже во всю интегрировал в себя ZOL - http://www.proxmox.com/

что почем и как настраивать под zfs виртуализацию есть немного здесь - http://pve.proxmox.com/wiki/Storage:_ZFS

qcow2 верхом на zvol для kvm без кеша.

axelroot
()
Последнее исправление: axelroot (всего исправлений: 1)
Ответ на: комментарий от Pinkbyte

небольшая файлопомойка
3Тб

По-моему это если не очень_большая, то как минимум большая файлопомойка. Или там диск на 3тб, но не все 3 забиты ?

sudopacman ★★★★★
()
Ответ на: комментарий от axelroot

не стоит использовать zfs не изучив что это такое. все тонкости (начиная от железа и кончая настройками ФС) уже писаны переписаны по 100 раз даже здесь на этом форуме.

ZFS - это generic purpose, не?

ktulhu666 ☆☆☆
() автор топика

Да, аристократы и дегенераты.

darkenshvein ★★★★★
()
Ответ на: комментарий от ktulhu666

баги по ссылке

А ты их внимательно читал, их большая часть как раз от тех кто маны не читал и не понимают зачем им zfs и что они вообще делают. особенно улыбнул баг от вкорячевшнго zfs на i386 c raidz на 2-х дисках, или вот этот перл - https://github.com/zfsonlinux/zfs/issues/3735 чувачки вообще доки не хотят читать.

axelroot
()
Последнее исправление: axelroot (всего исправлений: 1)

Юзаем зфс клоны для образов виртуалок для интеграционных тестов. Создаются/удаляются сотни клонов в день. Бывало такое что вольюм отказывался удаляться, и накапливались «зомби», но сейчас стало все норм, и я так и не понял что это было.

redixin ★★★★
()
Последнее исправление: redixin (всего исправлений: 1)
Ответ на: комментарий от ktulhu666

http://zfsonlinux.org/faq.html

1.6 Why should I use a 64-bit system?
You are strongly encouraged to use a 64-bit kernel. At the moment zfs will build in a 32-bit environment but will not run stably.

In the Solaris kernel it is common practice to make heavy use of the virtual address space because it is designed to work well. However, in the Linux kernel most memory is addressed with a physical address and use of the virtual address space is strongly discouraged. This is particularly true on 32-bit arches where the virtual address space is limited to roughly 100MiB by default. Using the virtual address space on 64-bit Linux kernels is also discouraged. But in this case the address space is so much larger than physical memory it is not as much of an issue.

If you are bumping up against the virtual memory limit you will see the following message in your system logs. You can increase the virtual address size with the boot option vmalloc=512M.

vmap allocation for size 4198400 failed: use vmalloc=<size> to increase size.

However, even after making this change your system will likely not be entirely stable. Proper support for 32-bit systems is contingent upon the zfs code being weaned off its dependence on virtual memory. This will take some time to do correctly but it is planned for the Linux port. This change is also expected to improve how efficiently zfs utilizes the systems memory. And can be further leveraged to allow tighter integration with the standard Linux VM mechanisms.

я понимаю что людям впадлу читать, они хотят сразу вперед на танки

axelroot
()
Ответ на: комментарий от axelroot

zfs на i386

как говориться - дураку стеклянный хер не на долго.

axelroot
()
Ответ на: комментарий от axelroot

я понимаю что людям впадлу читать, они хотят сразу вперед на танки

И гадить в багтрекер сразу бежать :)

King_Carlo ★★★★★
()
Ответ на: комментарий от sudopacman

Забито где-то терабайта полтора. Но под небольшой я имел ввиду что потребители ~5 человек

Pinkbyte ★★★★★
()

ничего нового, 2.5 Д'Артаньяна юзающих это на локалхосте. dvrts, сказочник, в проект пришел на все готовое, планировали, внедряли, писали скрипты без него, зато «наш проект» - он там на уровне уборщицы

anonymous
()
Ответ на: комментарий от overmind88

не научились использовать снапшоты zfs для виртуалок

http://pve.proxmox.com/wiki/Storage:_ZFS

General ZFS advantages

Easy configuration and management with Proxmox VE GUI and CLI.
Reliable
Protection against data corruption
Data compression on file-system level
Snapshots
Copy-on-write clone

там zvol у них вроде нет еще полноценной поддержки.

axelroot
()
Ответ на: комментарий от overmind88

SmartOS умеет, в прохмохе очень хотелось бы. Там виртуалки и контейнеры живут как датасеты-клоны (или оверлеи?) первичных образов. Удобненько.

spijet ★★★
()
Ответ на: комментарий от overmind88

А вот это интнресно! А то у меня с коллегой холивар: SmartOS + ZFS против Proxmox + LVM. Может, разрешим третьим путём. :)

spijet ★★★
()
Ответ на: комментарий от Pinkbyte

32-битные-only серверные процессоры Intel перестал производить давно.

ORLY?! А я то думал, что нас девяностые... Хотя по уровню экономики...

ktulhu666 ☆☆☆
() автор топика
Ответ на: комментарий от deadNightTiger

Напоминаю, что поддержка TRIM для vdev есть только в FreeBSD и Nexenta.

А в линуксе даже оффлайногово нет?

ktulhu666 ☆☆☆
() автор топика
Ответ на: комментарий от ktulhu666

Нет. Есть очень старый порт из фряхи и недавний порт из нексенты, но оба висят в пулл-реквестах.

deadNightTiger ★★★★★
()
Ответ на: комментарий от vxzvxz

В SmartOS, кстати, в данный момент пилят поддержу lxc-подобных контейнеров с линуксом внутри (зовутся lx-brand). Точно работают CentOS 6 и другие дистры без Systemd. С новенькими пока ещё есть проблемы из-за всяких linux-only штук, которые использует systemd.

spijet ★★★
()
Ответ на: комментарий от EvgGad_303

Раз ты так в солярках разбираешься, расскажи, в чём сейчас разница между Illumos и OpenIndiana. Судя по датам обновления, они обе пилятся.

ktulhu666 ☆☆☆
() автор топика
Ответ на: комментарий от ktulhu666

Illumos - ядро. OpenIndiana, OmniOS и SmartOS - дистры. Как Linux и Fedora/Debian/CoreOS.

spijet ★★★
()
Ответ на: комментарий от ktulhu666

Смартось не требует установки на HDD. Грузи образ либо с USB, либо с CD, либо грузи образ по PXE. Если не заморачиваться по lx, то можно более-менее свободно бегать вверх\вниз по версиям. Управление в смартоси очень хитрое - сама система это Global Zone, в ней нет ничего, кроме базового софта и системы управления VM/хранилищем/образами. Если очень понадобится, можно поставить пакетный менеджер в основную систему. Конфиг системы и инфа о твоих VM живёт прямо в ZFS-пуле и от самой системы не зависит.

Если нужна более-менее модная система управления виртуалками, то тебе пригодится либо Joyent SmartDataCenter (что-то вроде форка SmartOS от её же разработчиков, с веб-интерфейсом и крутыми фишками), либо Project FiFo (опенсорсный проект от сообщества, ставится как служба, поддерживает кластерное хранилище LeoFS, которое можно хостить и на Linux).

P.S.: Я сам использую FiFo, в принципе нужные мне задачи (быстрое создание\управление VM, какой-никакой мониторинг, веб-консоль для VM) выполняет. LeoFS тоже использую. Если решишь заюзать - будь внимателен: с версии 0.6.2 FiFo полностью переходит на LeoFS, «голое» хранилище VM/образов поддериваться не будет!

spijet ★★★
()
Ответ на: комментарий от spijet

Весьма интересно. Можете ко мне в джаббер добавиться?

ktulhu666 ☆☆☆
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.