Первый стабильный выпуск ZFSonLinux

у нас смартос в облаке в продакшане на высокой нагрузке. Полный кал - правда именно в такой связке. не интуитивна, привычных тулов нету

это у тебя в голове кал и нет привычных тулов, именно в такой связке.

Журнал? Не, не слышал.

git.kde.org? не, не слышал.

GPL и CDDL
один говорит «нельзя закрывать», другой «можно закрывать»
один «предоставлять исходники обязательно», другой «не обязательно»

Они обе говорят «нельзя закрывать», обе эти лицензии — copyleft. Не совместимы они только про причине несовместимости GPL с любым другим копилефтом, даже с самой собой другой версии (GPLv2 vs GPLv3).

А какие фишки то тут есть, каких в бтр нету?

А разве btrfs уже готова? Мне казалось, она defective by design, поэтому конкурировать с ZFS не может.

Читаю тему, некоторых «не осиливших»…

А потом понимаю одну вещь: у меня, например, никогда не было ни одной системы с zfs, которая не 64-бит, менее 4Гб памяти, в пуле было бы один–два диска.

На моем десктопе 16 гиг, в пуле пять винтов и кеш не ssd. На файлопомойке 16 шпинделей в одном пуле: три raidz по пять, один spare, к ним четыре ssd: зеркало под лог и страйп под кеш.

Да, если человек говорит «шпиндель» или «том», его опыту можно доверять.

Чем дефект то?

Скажи это моей полке на 100 тб.

Сколько ио выжимает?

Ты шутишь? btrfs сущесвует именно как ответ zfs, причем весьма отвратный, как показывает практика.

Пробовали использовать zfs для проекта, обрабатывающего большое количество данных (файлов). L2arc и zil на ssd давали хороший прирост производительности по сравнению с той же ext4. Плюс онлайн сжатие давало хороший прирост в IO. Однако zfsonlinux (0.6 на тот момент) часто вызывал KP при интенсивной работе - пришлось временно отказаться. Опыт парумесячной давности.

Это было вынуждено сделано Sun Microsystems, поскольку код системы не мог быть раскрыт полностью, особенно в части драйверов, поскольку их код писался третьими лицами и содержал IP используемых технологий и ограничения по секретности.

ZFS писался в Sun с нуля, какой нафиг 3rd party код? Если бы Sun кого-то купил, то это было бы понятно, а так ваше заявление выглядит, по меньшей мере, бредово.

Удивляюсь, как можно было дорасти на ЛОРЕ до 5 звезд и остаться таким незамутненым мудачудаком?

Anonymous - торт :)

И да, напомни мне, они уже online стали

Возьми и проверь.

А разве btrfs уже готова? Мне казалось, она defective by design, поэтому конкурировать с ZFS не может.

С учетом того, что btrfs выглядит как калька и «наш ответ ZFS», звучит весьма смешно.

и производительность при работе с ними без оверхеда лютого?

При работе именно со снапшотами, производительность именно что «без оверхеда лютого». А при работе с оригинальным томом, «оверхед лютый» только при первой записи. Последующие уже с точностью до погрешности измерения равны скорости ниежележащего уровня. К этим выводам можно прийти даже без тестов - хотя ради интереса, я протестировал. Так вот - именно так всё и обстоит.

При работе именно со снапшотами, производительность именно что «без оверхеда лютого». А при работе с оригинальным томом, «оверхед лютый» только при первой записи. Последующие уже с точностью до погрешности измерения равны скорости ниежележащего уровня. К этим выводам можно прийти даже без тестов - хотя ради интереса, я протестировал. Так вот - именно так всё и обстоит.

1) Чем и как ты мерял производительность?
2) А размеры изменений для снапшотов по преженему ограничены и требуют выделения пространства или оно автоматически научилось наконец расти?

Однако zfsonlinux (0.6 на тот момент) часто вызывал KP при интенсивной работе - пришлось временно отказаться. Опыт парумесячной давности.

Вот у меня тоже самое :( Надо бы проверить, изменилась ли ситуация.

это у тебя в голове кал и нет привычных тулов, именно в такой связке.

Ага, попробуй в смартоси айпишку пермаментно сменить :) Посмотрим, сразу сработает или сглючит что.

это у тебя в голове кал и нет привычных тулов, именно в такой связке.

Причем крайне желательно, чтобы пара зон/впс были привязаны к admin_nic в котором и была айпишка.

Проверку диска и дефрагментатор сделали?

Зфс они не нужны. Вся её концепция в фрагментации :) И это одна из причин, почему она классно подходит для ссд.

Я сегодня добрый, дарю ссылку:
http://www.axus.com.tw/product_fit_01.asp

Спасибо.

Но это точно не микросервер с обычным Linux или BSD на борту? Если да, то смысла в этом нет вообще.

Мне более интересны RAID карты. Чтобы с flash или battery backup и шифрованием прямо на устройстве.

Он не детский сад, он «дешевый». Такой контроллер как ты хочешь, стоит больших денег. И тебе придется покупать сразу 2 таких контроллера, иначе ты имеешь шанс остаться у разбитого корыта с гораздо более интересными проблемами, чем я. Такой контроллер - оверкилл для очень многих задач.

Тут ёщё интереснее такой вопрос: что хуже, явно дохлая система, которую можно вылечить заменой контроллера, или неявно подпортившая данные, т.к. LVM или dm-crypt не заставил диски сбросить кеши в нужный момент.

Что до контроллеров, то таких пока не нашёл. Например, топовые LSI типа поддерживают шифрование, но на практике это значит лишь поддержку прокидывания ATA пароля на диск, что уже сам делает шифрование. А недостатки этого подхода сводят на нет всю потенциальную пользу.

Дизайном. Читай, от природы крива.

Причем крайне желательно, чтобы пара зон/впс были привязаны к admin_nic
admin nic_tag

да, есть такой багофич )
но это не имеет дела к «привычным тулам» и управлению в целом, ну и воркэраунд не смертелен.

easyRaid например увидеть пора

Сколько ио выжимает?

Пока zil умещается на ssd зеркале 256Г+256Г — запись практически как на этот ssd. В первую очередь по iops всё красиво, конечно. С чтением, очевидно, получше будет.

Ну и мне нравится, что в zfs скорость (линейного) чтения-записи raidz масштабируется на количество дисков данных, в отличие от raid[56].

Есть два минуса:

1. если бы не жмотился, делал бы страйп зеркал, но земноводное удушило половину 2Тб винтов отдавать под избыточность, поэтому в скорости io потерял,
2. опять же из-за экономии 16 дисков массива подключены к четырем SATA каналам через мультипликаторы, а ssd висят на набортном контроллере.

С учетом того, что btrfs выглядит как калька и «наш ответ ZFS»,

Ключевое слово — «выглядит».

калька и «наш ответ ZFS» — звучит весьма смешно

Вот так^^ надо. Ему до ответа как до луны. Много таких «ответов»:

• Gnone — «ваш ответ» на Aqua.
• Wayland — попытка спародировать Quartz.
• Systemd — убогая NIH-калька launchd…

Ну? какой-то софт там в прошивке есть, естественно.
Но там и flash и battery backup есть, да и шифрование скорее всего сделано аппаратно. А снаружи оно просто как один большой диск видно через eSATA/USB.
Правда я вот именно с этой серией не сталкивался, а больше с Yotta-серией.

какая именно практика? примеры в студию

аргументы будут?

Чем и как ты мерял производительность?

dd.

А размеры изменений для снапшотов по преженему ограничены и требуют выделения пространства или оно автоматически научилось наконец расти?

http://www.kernelcrash.com/blog/linux-lvm-in-2012/2012/08/08/

Задолбали боевые хомячки ZFS.

С учетом того, что btrfs выглядит как калька и «наш ответ ZFS»,

Ключевое слово — «выглядит».

Лично я считаю ZFS «defective by design», как и btrfs.

Wayland — попытка спародировать Quartz.

А почему не DirectX? Архитектурно оно гораздо ближе к нему, вообще-то.

Systemd — убогая NIH-калька launchd

А почему не Win32 SCM?

Gnone — «ваш ответ» на Aqua.

Это ты сделал такой вывод на основании того, что в гноме можно (было) переместить панель наверх и вставить в неё «меню приложений»? У тебя проблемы с логикой.

Те которые ждут его давно состарились.

Концепция в фрагментации? Ты про CoW? Тогда на hdd это точно лучше не ставить.

задолбали боевые хомячки LVM

HDD для систем уже ушли в прошлое, сейчас типичная схема: SSD под систему + HDD под файлопомойку, ну а лет через семь-десять HDD вообще вымрут

В документации про это написано, или это «неподдерживаемая полуофициальная фича»?

Написано.

А FUA с DPO тоже не теряет?

Барьеры работают на всех уровнях Device Mapper начиная с 2.6.31.

Я могу попробовать ZFSonLinux на обычной флэшке или USB-HDD и оценить все возможности в полном объеме?

Ты можешь попробовать ZFS даже без флэшек и HDD. Сделал кучку файлов размером от 64 мегов и вперед. Можно даже дырявых :)

http://www.kernelcrash.com/blog/linux-lvm-in-2012/2012/08/08/

только это всё-равно убогая концепция - задавать размер под снапшот, а по ссылке соответственно костыль, который ещё и 'delayed detection'. ну и как всегда - оно вроде как бы и работает, но только вроде и как бы:

Regarding the auto-extend functionality of thin pools, well I could not get it to work (so far I’ve tried Redhat 6.3 and Fedora 17). The details of how to use it are in the comments of /etc/lvm/lvm.conf on most distros, for whatever reasons, it never auto-extends for me.

короче костыль костылём погоняет в этом вашем lvm.

нафига оно нужно ? в один прекрасный момент ларри элисон за одно место прихватит разрабов

лучше своё (reiser, btr) юзать тихо мирно

Сейчас посмотрел, шифрование из ZFS v30 еще не портировано ни в FreeBSD, ни в Linux. Народ вовсю пользует ZFS over LUKS, так чтооо...

которую можно вылечить заменой контроллера,

Я как-то 2 рабочих дня пил чай, потому что одна известная корпорация везла контроллер 2 дня вместо скольких-то там минут, как было указана в SLA.

А как-то раз в моем тестовом сервере Supermicro сдох контроллер (хороший, SAS, c аккумулятором для сброса кешей на диск). И файловую систему утянул с собой, там были виртуалки.

Вещь очень ограниченного применения - надо точно знать, что она даст выигрышь, и следить, чтобы было достаточно памяти, потому что если часть хэшей будет жить на диске, по производительности будет полный трэш

И судя по всему не будет, ибо воспроизвести его можно только либо украв документацию, либо сделав реверс инжиниринг.

Почему, она же под CDDL, то есть код как таковой есть, его просто нельзя копипастить?

CDDL же taints kernel

Абсолютно любой out of tree модуль taints kernel.

До 28й версии, а шифрование в 30й. Понятно.

Абсолютно любой out of tree модуль taints kernel.

Ложь.

Я как-то 2 рабочих дня пил чай, потому что одна известная корпорация везла контроллер 2 дня вместо скольких-то там минут, как было указана в SLA.

Бывает. Полагаю они решили, что всё равно ради какого-то контроллера их не потащат в суд.

А как-то раз в моем тестовом сервере Supermicro сдох контроллер (хороший, SAS, c аккумулятором для сброса кешей на диск). И файловую систему утянул с собой, там были виртуалки.

А вот это странно. Если он сбрасывал кеши так, как от него требовала OS, то сбоя не должно было быть. Может они решили чуток схитрить и проигнорировать команды сброса кеша, чтобы на бенчмарках выглядеть привлекательно?

Regarding the auto-extend functionality of thin pools, well I could not get it to work (so far I’ve tried Redhat 6.3 and Fedora 17)

1. Мне как бы пофиг на мнение неосиляторов ...

2. потому что я специально проверил работу авторасширяющихся снапшотов

3. И поскольку они работают, см. пункт 1.