ZFS: почему её нельзя портировать на Linux?

>>Пока хранить такие огромные файлы на ФС вряд-ли требуется. Приведите пример хоть одного приложения, требующего хранение таких файлов.

>Пока - да, не требуется. Но так называемые "разумные ограничения" (типа 32 мегабайт, 2 гигабайт, 4 гигабайт и т.д.) очень часто и за все сокращающиеся сроки становятся совершенно неразумными.

то stellar - Ну с эти у ZFS проблем нет :) - файлы такого же размера как и у остальных - до 64бит. На сколько я знаю, ни про какие open128, read128 and write128 речь не идет.

Я уже устал писать про это ...., но

ZFS - это ударная сила маркетологов от sun, не более того.

PS да, она конечно нужна для Solaris, т.к. их ufs устарела еще десять лет назад, ее давно было пора выкинуть на помойку.

> контроль целостности информации интересен, но обычно реализован в самих приложениях, например базах данных.

хм... а как СУБД будет объяснять драйверу ФС, что у него не сошлась КС и нужно взять данные с другого диска миррор-массива, попутно восстановив их и на сбойном?

Как насчёт горячего клонирования, сериализации снапштов и легковесного создания файловых систем?

а так же за счет избыточности... просто код позволяющий восстановить ошибку. если нужно большее --- в кластере будет работать копия в которой ошибки нет. а изолировать сбойные блоки может и evms.

сколько раз в секунду надо создавать файловую систему? я думаю что придумать ситуацию когда на это нельзя затратить те 3 секунды что уходит сейчас очень сложно придумать (если речь о интеграции с самба).

очень гложет где это можно использовать и как обходятся без этой фичи сейчас?

> Как насчёт горячего клонирования, сериализации снапштов и легковесного создания файловых систем?

Алё!! Вперёд читать фичи, поддерживаемые EVMS в Линуксе (на русском):

http://ru.wikipedia.org/wiki/Enterprise_Volume_Management_System

Сам же писал: "однако в сравнении с EVMS, в некоторых вопросах она (ZFS) проигрывает."

Так что, Линуксу не нужны костыли в виде недопиленного тормозного монстра. Ну как её ещё назвать: впихнули в FS всё что могли, всё чего не хватало в Соляре и Бзде, но давно было в LInux!!!

> ZFS: почему её нельзя портировать на Linux?

Вы ещё спрашиваете???!! o.O

Её поганой метлой гнать надо от священного Linux со священной лицензией!!

> хм... а как СУБД будет объяснять драйверу ФС, что у него не сошлась КС и нужно взять данные с другого диска миррор-массива, попутно восстановив их и на сбойном?

А причем тут субд? Вас не учили хранить файлы базы данных на raw разделах? У субд свои премудрые кеши.

> Алё!! Вперёд читать фичи, поддерживаемые EVMS в Линуксе (на русском): http://ru.wikipedia.org/wiki/Enterprise_Volume_Management_System

Проясните, пожалуйста, пару вещей : `создание снимков («замороженных» образов томов), опционально с возможностью записи;`

Имеется ввиду `создание снимков на лету`? Инкрементальные бекапы так возможны? То есть 1.01.2008 я сделал полный снимок, а 2.01.2008 я хочу только изменения по сравнению с предыдущим снимком сохранить.

Что писал это я помню,
но что-то я не помню, чтобы я где-то говорил,
что EVMS поддерживает сериализацию снапшотов.

(Насчёт клонирования написал на автомате, прошу прощения.)

Я думаю, что я недостаточно хорошо знаком с EVMS,
но те кто знакомы достаточно, могут изобразить аналог?

zfs send myzfs/bob@newtest | ssh somewhere.in.net zfs receive myzfs/backup

?

Но дело даже не в этом.

Мне кажется, дискуссия в формате
сможет ли линуксовая связка

EVMS/LVM + Reiser4/ext4/XFS

побороть ZFS --- это немного не то.

По-моему никто не сомневается, что сможет.
И даже если некоторых вещей не хватает сейчас
они появятся в будущем.


Меня просто немного удивляет тот факт,
что никто из прожжённых линуксоидов не хочет признать
тот факт, что да, есть у ZFS хорошие фичи,
и жалко, да жалко, что мы не можем их поиметь у себя.

Вы правда считаете, что ну её нафиг ту ZFS и очень хорошо,
что она по CDDL распространяется?

И как кто-то хорошо сказал выше:

<<У ZFS есть один большой плюс. Линуксоиды начинают задумываться о том, что у них есть EVMS.>>

Может быть, в этом и есть великая сермяжная правда?

> Проясните, пожалуйста, пару вещей : `создание снимков
> («замороженных» образов томов), опционально с возможностью записи;`

Имеется в виду, что вы можете создать снапшот,
а потом дописывать его.
То есть, грубо говоря, форкнуть состояние файловой системы.
А потом уже жить как бы с двумя разными томами
(которые всё дальше и дальше разделяются).

>но те кто знакомы достаточно, могут изобразить аналог?
>
>zfs send myzfs/bob@newtest | ssh somewhere.in.net zfs receive myzfs/backup

dump ... /dev/mapper/vg0-home | ssh somewhere.in.net "restore ..."

> А проблема FUSE -- в ZFS не может быть загрузочный раздел "/" и rootfs

Кто мешает сделать initramfs с поддержкой FUSE?

LVM тоже так умеет ведь, да?

Ну это не совсем то, здесь будет не снапшот.

Чтобы сделать то что в случае с
zfs send | zfs recieve:

нужно сделать снапшот,
потом на somewhere.in.net сделать том, на который мы будем
этот снапшот пересылать (причём подумать о размере тома),
потом через dump/restore перегнать,
потом грохнуть снапшот здесь.

А прямого аналога нет?

Умеет, особенно EVMS умеет.

по ссылке

>Будем использовать число 10Вт для круглого счёта.

ГСМ? :)))

По ссылке:

>How to install FreeBSD 7.0 under ZFS

Навело на мысли о KDE2 :D

P.S. ресурс интересный :)

> zfs send myzfs/bob@newtest | ssh somewhere.in.net zfs receive myzfs/backup

Могу тоже в одну строчку написать, но она получится немного длиннее :) Вы хотите, чтобы мы признали, что это удобно? Да, не спорю. Но скрипт для создания и удалённого копирования LVM-снэпшота пишется 10 минут, а потом запускается так же легко.

> Меня просто немного удивляет тот факт, что никто из прожжённых линуксоидов не хочет признать тот факт, что да, есть у ZFS хорошие фичи

Да, у ZFS есть хорошие фичи, есть и недостатки, но мы не фанатики компании Sun, у нас есть своё, родное, что тоже имеет как преимущества, так и недостатки. Так Вас устроит?

> Вы правда считаете, что ну её нафиг ту ZFS и очень хорошо, что она по CDDL распространяется?

Считаю, что наши желания не совпадают с мнением Sun на этот счёт. Предлагаете писать петицию о прошении двойного лицензирования? Если бы Sun действительно было нужно портировать ZFS на Linux, они бы её да-а-вно портировали и перешли бы на двойное лицензирование. ;) О чём это говорит? О том, что Sun пока не хочет распространять ZFS под одной из действительно свободных лицензий. А мы то тут при чём?

З.Ы. Осталось непонятным, чего вы ждали от этой дискуссии? Принаний линуксойдов, что ZFS - это лучшая FS? Агитация к портированию ZFS на Linux? Призыв заставить FSF изменить отношение к CDDL?

> Может быть, в этом и есть великая сермяжная правда?

к сожалению о наличии LDAP, NIS и kerberos стали задумываться только после того как появился AD

о том что X это работа на сервере приложений, после появления виндовс терминального сервера

о том что есть afs, gfs2, куча блочных устройств сетевых что бы задумались надо кланяться билли, что бы он прикрутил их к висте и тогда их удостоят внимание массы...

...нет культуры в массах :(

> З.Ы. Осталось непонятным, чего вы ждали от этой дискуссии?

Я почитав, погуглив, написав пару комментов больше узнал о ZFS, а еще лучше - узнал о аналогичных решениях в Linux. Вот это знание, что `не единым ZFS` представляет собой некоторую ценность. Все-таки ЛОР - это не только развлекательный портал.

> > zfs send myzfs/bob@newtest | ssh somewhere.in.net zfs receive myzfs/backup

> Могу тоже в одну строчку написать, но она получится немного длиннее :)
> Вы хотите, чтобы мы признали, что это удобно? Да, не спорю. Но скрипт
> для создания и удалённого копирования LVM-снэпшота пишется 10 минут, а
> потом запускается так же легко.

Да, я с вами согласен.
Ну, с небольшим уточнением, что в LVM не получится делать online-снапшоты,
а в EVMS строчка будет выглядеть немного геморно,
но это не принципиальный вопрос.

> > Меня просто немного удивляет тот факт, что никто из прожжённых
> линуксоидов не хочет признать тот факт, что да, есть у ZFS хорошие
> фичи

> Да, у ZFS есть хорошие фичи, есть и недостатки, но мы не фанатики
> компании Sun, у нас есть своё, родное, что тоже имеет как
> преимущества, так и недостатки. Так Вас устроит?


Да, устроит.


> > Вы правда считаете, что ну её нафиг ту ZFS и очень хорошо, что она
> по CDDL распространяется?
>
> Считаю, что наши желания не совпадают с мнением Sun на этот счёт.
> Предлагаете писать петицию о прошении двойного лицензирования? Если
> бы Sun действительно было нужно портировать ZFS на Linux, они бы её

Насколько я знаю, её уже писали,
и Sun уклончиво отказала, в мягкой но ироничной форме.
Что-то типа:

Почему бы линуксоидам не поменять лицензию,
ведь GPL препятствует линковке, а что до нас -- то мы со
всеми линковаться рады.


> да-а-вно портировали и перешли бы на двойное лицензирование. ;)
> О чём это говорит? О том, что Sun пока не хочет распространять
> ZFS под одной из действительно свободных лицензий. А мы то тут при чём?

Вы так говорите, как будто я от вас требую сейчас же решить вопрос
с лицензированием ZFS под GPL, и что ваша медлительность в этой области угрожает всеобщему благу.


> З.Ы. Осталось непонятным, чего вы ждали от этой дискуссии? Принаний
> линуксойдов, что ZFS - это лучшая FS? Агитация к портированию ZFS на
> Linux? Призыв заставить FSF изменить отношение к CDDL?


Нет, ничего из вышеперечисленного я не ждал.

Во-первых, я хотел просто поговорить.
И большое спасибо всем, кто принял участие в дискусси,
и вам в том числе. Ваши аргументы было интересно читать.

Во-вторых, я не отношусь к числу фанатов SUN, и с файловой системой ZFS
я познакомился относительно недавно. Я имею представление о LVM/EVMS,
файловой системе XFS и о том, что они умеют, а что нет,
но тем не менее, возможности ZFS меня в своё время приятно удивили.

Я не говорю, что Линукс сильно проигрывает другим системам или стоит
на эволюционной лестнице на ступень ниже, лишь потому что у него нет
ZFS. Но в ZFS есть классные фичи. Надо это признать. Поэтому я
удивился такой реакции и подумал правильно ли я понял некоторые высказывания.

Если вы перечитаете всё, что я написал, я думаю вы сможете убедиться,
что я нигде фанатично не восхвалял ZFS и нигде никоим образом не пытался принизить Linux.
Такого не было, но если какие-то мои слова
были восприняты так, я приношу свои извинения.

В-третьих, я не совсем хорошо себе представляю все тонкости с
конфликтом лицензий CDDL и GPL, и я думал, что в ходе разговора
это всё немного прояснится.

Мне кажется, что последний вопрос выходит за рамки обсуждения
технических возможностей ZFS и их сравнения с возможностями
аналогичных систем в Linux. Он распространяется на всю существующую
и будущую функциональность OpenSolaris и сложности с её использованием
в Linux и в других свободных системах. И он не ограничивается,
в общем-то даже и OpenSolaris.

Если вы считаете, что дискуссия исчерпана, то не имею ничего против,
если же ещё есть что обсудить, то с удовольствием продолжу наш
разговор.

Большое спасибо за этот коммент и skwish за следующий коммент.

Я совершенно согласен с тем, что многих эта дискуссия заставит задуматься над тем, что такое снапшот, что такое клон, чем offline снапшот отличается от online, что а сколько же можно засунуть данных на XFS.

Ну а про то, что сколько людей узнало о том, что если EVMS и что не LVM'ом единым жив человек я вообще молчу.

Я думаю, что некоторые приверженцы BSD, которые присутствуют здесь и которые наверняка знали, что начиная с FreeBSD 7 у них появляется ZFS и знали что это круто и что вокруг неё много шума, сейчас начали задумываться над тем, а в чём же собственно та самая круть, и что же именно ZFS может, из того чего раньше нельзя было сделать в FreeBSD.

Я понимаю, что многие люди работает с этими вещами каждый день и для них это абсолютно не новость, но, всё же я думаю, что найдётся хотя бы один человек, который читал этот тред и не знал о существовании EVMS.

PS. А про AD это верно подмечено

> Я не говорю, что Линукс сильно проигрывает другим системам или стоит на эволюционной лестнице на ступень ниже, лишь потому что у него нет ZFS. Но в ZFS есть классные фичи. Надо это признать. Поэтому я удивился такой реакции и подумал правильно ли я понял некоторые высказывания.

Извините, Вы считаете, что на этот ресурс заходят, в основном, бородатые технари? Даже проведённый пару месяцев назад опрос показал, что основной контингент доброй половины ЛОРа - это дети, поэтому, не стоит обижаться на неадекватные комментарии.

> я не совсем хорошо себе представляю все тонкости с конфликтом лицензий CDDL и GPL, и я думал, что в ходе разговора это всё немного прояснится.

Насколько я понимаю условия лицензии CDDL, код под этой лицензией может быть объединен В ОДНОЙ ПРОГРАММЕ с проприетарными файлами. CDDL похожа на LGPL, но LGPL отличается тем, что помещает ограничения копилефта на саму программу, но не применяет эти ограничения на другое программное обеспечение, которое ТОЛЬКО СВЯЗЫВАЕТСЯ С ПРОГРАММОЙ.

Важно понять эту разницу: если удалить закрытый код, связанный с LGPL, то основная программа (под LGPL) будет оставаться работоспособной, а если удалить закрытый код, связанный с CDDL, то основная программа (CDDL) может оказаться неработоспособной.

Таким образом, если разработчики ядра согласятся принять в ядро ZFS под лицензией CDDL, некто может сделать форк ядра Linux с проприетарными патчами ZFS и не открывать их. А это противоречит условиям копилефта. То есть, фактически, сразу после внесения ZFS в ядро, Sun может сделать свой дистрибутив Linux и будет обладать монополией на ZFS в ядре, так как открывая свои исходники, они могут держать закрытыми все свои патчи-доработки. Фактически, Sun может внести в ядро под CDDL версию с минимальным (обрезанным) функционалом, а потом, сделав форк, остальной функционал внести в виде закрытого кода.

В общем, лицензия не такая свободная, как кажется на первый взгляд, поэтому в ядро ни в коем случае нельзя вносить код под CDDL, иначе Linux пойдёт на поводу у проприетарных компаний, любящих закрывать код.

Уфф.. по-моему, доходчиво написал?

> сколько людей узнало о том, что если EVMS и что не LVM'ом единым жив человек

К сожалению, проект EVMS можно считать зомби. Он давно не развивается. В двух словах: было соревнование между LVM и EVMS на включение в ядро. Разработчикам ядра больше понравился LVM и его включили в ядро, а EVMS - нет. После внесения LVM в ядро, разработчики EVMS начали трудиться над совместимостью с LVM и выпустили последнюю версию (2.5.5) 26 февраля 2006 года, сразу после этого IBM распустила всех разработчиков этой системы, никто из них не остался поддерживать проект на общественных началах. То есть, если проект, до сих пор и не умер, то всё к этому идёт. Дыры то, в любом случае есть, а вот исправлять их некому.

Вот, нашёл свидетельство смерти проекта на https://wiki.ubuntu.com/Evms с описанием нескольких багов, которые не исправляются.

Жаль, что такой проект умирает, а ведь в нём были такие вкусности!! Никто не хочет заняться его разработкой и довести его до уровня ZFS? :)))

> Кому _действительно_ интересно предлагается вкурить уже http://docs.sun.com/app/docs/doc/820-0836?l=ru

ЭЭЭ, весь ЛОР ломанулся, да?

Server Error This server has encountered an internal error which prevents it from fulfilling your request. The most likely cause is a misconfiguration. Please ask the administrator to look for messages in the server's error log.

http://tastic.brillig.org/~jwb/zfs-xfs-ext4.html

кстати, насчет шифрования и сырых девайсов... в бздях давно используют geli поверх zfs volume не говоря о том, что этот самый volume можно экспортнуть в jail и создать на нем еще один пул

CDDL
она вобще не free так как копирайт остаёться у владельца(Sun) там именно такие тонкости были... т.е. если ты что то правил в исходниках CDDL то копирайт первичного автора всегда - права не передаються.
Ты можешь посмотреть код, изменить но твоим он никогда не будет.

Дык zfs send работает со снапшотом, который надо создать заранее.

>потом на somewhere.in.net сделать том, на который мы будем
>этот снапшот пересылать (причём подумать о размере тома),
>потом через dump/restore перегнать,

Это все непринципиальные мелочи, да в zfs проще, вы довольны?
Меня такие разовые операции не напрягают, при необходимости частых таких миграций легко пишется скрипт в 5 строк.

> вчера было zpool create -f tank raidz c1t1d0 c1t2d0 c1t3d0 c1t4d0

О, как потрясающе... А у линуксоидов 2 года назад уже в промышленной эксплуатации было { for n in 0 1 2 3 4 5 6 7 ; do pvcreate /dev/md"$letter" ; vgextend oradata /dev/md"$num"; done; }

Но для домашнего пользователя контроль целостности в fs как раз и интересен,так как не встроен в утилитки и всякие плейеры,

> почему ZFS не перенесена на Linux?

Потому, что она туту лишняя. Уже есть прекрасно работающий код, покрывающий области собственно ФС (xfs/jfs/ext3/ext4), код организации управления дисковым пространством (LVM), код организующий легкую работу с RAID-устройствами (md).

Это три различных инструмента с неперекрывающейся функциональностью, и единственным существенным их отличием от ZFS является отсутствие слова "zfs" в начале вызова команд управления этими подсистемами.

Так что тащите сами в промышленное использование монолитный монстроидальный кусок кода, который лезет во все уровни ядра, с неизвестны количеством неизвестных пока багов и болезней. А мы посмотрим на вас со стороны, и продолжим пользоваться давно проверенными и работающими инструментами.

> чем это от обычного стрипа отличается?

Тем что обычный stripe - это не ынтырпрайс, поскольку префикса zfs в начале слова нету, а вот zfs - это ынтырпрайс! :-)

> То есть, грубо говоря, форкнуть состояние файловой системы. А потом уже жить как бы с двумя разными томами

Делается, причем легко и непринужденно. lvcreate -s. Получаемый снапшот является моментальным снимком исходного тома. Причем изменяемым. С него можно сделать dump, его можно смонтировать, на него можно записывать данные. Если вам необходимо делать что-то вроде "размножения блочных устройств для создания виртуальной машины", то это как раз оно. Но основная задача снапшотов LVM все-таки не создание полноценных копий для последующей работы, а создание именно моментальных снимков устройства.

><<У ZFS есть один большой плюс. Линуксоиды начинают задумываться о том, что у них есть EVMS.>>

я бы сказал, по другому - прочитав про zfs многие линуксойды узнали о evms. Я вот к стыду не знал о такой +).

Про всякие evms и lvm я давно знал. lvm даже попиннал чуть-чуть одно время - понравились фичи. evms вобще не трогал. Скажите в чем их различие то?

Самое важное: lvm в ядре, а evms отдельным патчем.

> Но для домашнего пользователя контроль целостности в fs как раз и интересен

Подтверждаю. Хочу контроль целостности, мне не жалко на это разумной потери объёма.

> Хочу контроль целостности, мне не жалко на это разумной потери объёма.

LVM+RAID5 на 3-4 диска

>RAID5 на 3-4 диска

5-й - в сад. Детский. 1 или 1+0

Анонимус, человек сказал о "разумной потери объёма" на избыточность. По-моему, отдавать половину дискового пространства для зеркала для домашнего юзера - это неразумная потеря объёма. Кроме того, RAID1 уже научился проверять контрольные суммы блоков данных? Нет? Ну тогда в сад отправляешься ты. ;)

Народ, вот скорость и разростание на диски хорошо конечно. И это все неплохо освещено. А вот примерно такую штуку никто не видел? Сетевая ФС в кторой данные синхронно хранятся на нескольких машинах. Если компьютер выключен то они берутся с другого и пишутся туда. Машины синхронизируют данные. Я как представлю, что на сервере у меня хранится террабайт всякой фигни типа поздравлений, mp3, почты 10 летней давности... И места постоянно не хватает. А на сотальных машинах занято порядка 10 гигов на новых 160гиговых винтах. Пусть это будет медленней. MP3 играет и при малой скорости. Почта читается почтарем раз в 100 лет.

>>Поэтому обоснованно большой запас - это плюс.

Этот запас _не_обоснованно большой. Хотя автор по ссылке и приводит расхожее мнение, что для храннения такого большого объема информации требуется испарить океаны, но обосновывает он это с помощью каких-то 300 ГБ дисков фирмы Сигейт. На самом деле речь идёт о фундаментальном физическом принципе, который не позволит создать диск такого объёма.

Эти принципы растолковываются в соответствующей статье в Википедии:
http://en.wikipedia.org/wiki/ZFS

Или как вариант "ленивый" бэкап или зеркало серверов на все клиентские машины.

>который не позволит создать диск такого объёма.

В философии есть закон "перехода количества в качество", в соответствии с которым, когда появится необходимость хранения и быстрого доступа к данным, объёмом много GoogleByte :) , тогда будут использовать не диски, а 3D-твердотельные носители с параллельным r/w доступом к 2D-матрицам. Вывод: не надо совершенствовать паровозы, лучше создавать еропланы :) .

openAFS

Да, понятно, спасибо.
Я это понимаю, я немного не о том.

Я понимаю, что код CDDL в GPL ядро полностью интегрировать не получится.
Я вообще-то про другое спрашивал (возможно не у вас напрямую, а раньше в дискуссии).

Вопрос был в том, что можно ли распространять
ZFS в виде отдельного патча, не в составе ядра?
Понятно, что в mainstream никто не включит.

Правильно ли я понимаю, что игра не стоит свеч,
потому что как отдельный патч ZFS не интересен
основным пользователям функционала ZFS
(или аналогичном, который есть в Linux)

А для того чтобы поиграться и оценить возможности
ZFS (то есть, для энтузиастов, грубо говоря)
вполне достаточно порта работающего через FUSE?

> Жаль, что такой проект умирает, а ведь в нём были такие вкусности!!
> Никто не хочет заняться его разработкой и довести его до уровня ZFS? :)))

Наверное, логичнее было бы дописать то чего не хватает в LVM