LINUX.ORG.RU

Представлена ещё одна реализация ZFS на уровне ядра Linux

 ,


0

0

Компания KQ Infotech представила свой проект портирования файловой системы ZFS на уровень ядра Linux. В отличие от проекта реализуемого по заказу LLNL, данный проект поддерживает ZFS Posix Layer (ZPL). Это значит, что можно работать с файлами с помощью файлового менеджера. Стоит отметь что это уже третий проект связанный с портированием поддержки ZFS в ОС на базе Linux-ядра.

Вот основные возможности проектов:

  • Проект по заказу LLNL поддерживает zpool v.26, портирован на I386 и AMD64, но не поддерживает ZPL
  • Проект компании KQ Infotech поддерживает zpool v.18, поддерживается ZPL, портирован только на AMD64 (будет поддержка Fedora 12, Red Hat Enterprise Linux 6 и Ubuntu 10.04 LTS)
  • Проект ZFS-FUSE поддерживает zpool v.23, поддерживает ZPL, портирован на I386, AMD64, PowerPC и Sparc. Также присутствует в основных репозиториях популярных дистрибутивов — Fedora (начиная с 11-ой версии), Ubuntu 10.04 LTS, Debian Squeeze и т.д.

Также отмечено, что KQ Infotech не будет продвигать патч в основную ветку ядра и выпустит его под лицензией CDDL. Скорее всего модули будут собираться на машине пользователя с помощью DKMS (как это происходит с проприетарными драйверами от ATI/NVidia или FOSS модулем от программы CDEmu)

>>> Подробности

★★★★★

Проверено: mono ()

Ответ на: комментарий от anonymous

> А мне приходилось сталкиваться. Из всех сторэджей, с которыми

приходилось иметь дело, самые беспроблемные, это, пожалуй,
хай-энды от Хитачи. Весь мидрэнж - барахло, проблем с ними
выше крыши. Вот только если контроля целостности нет,
этих проблем до поры до времени не видно.

Ой, так ли во всем мидренже нет контроля целостности? (SUN откинем) Вы точно уверены? (Для пущей проверки знаний откинем заодно и NetApp 8-))

Может поэтому вы и прецедентов не знаете?

Горе от ума сплошное. 8-/

anonymous ()
Ответ на: комментарий от anonymous

> Выделение ФС для юзера это не квоты.

конечно не квоты, если не знать как zfs устроена

надо срочно создавать lor-sun-quotes, тут только с этого треда шедевров на главную хватит.

EvgGad_303 ★★★★★ ()
Ответ на: комментарий от Hokum

Проигрыш ZFS в перформансе относительно традиционных ФС обусловлен сквозным подсчётом контрольных сумм (checksum=on | off | fletcher2, | fletcher4 | sha256) и распределением пространства с переменным размером блока. Традиционные ФС полагаются на достоверность транзакций аппаратного контроллёра и диска, исключая проверку контрольных сумм групп связанных блоков, ограничиваясь вычислением простого CRC файлов.

iZEN ★★★★★ ()
Ответ на: комментарий от EvgGad_303

>я подозреваю вы просто не умеете ее готовить. вообще.
Вполне возможно. Такая вероятность есть всегда и везде. Но ни подтвердить ни опровергнуть это невозможно.

это просто убило. я все же настоятельно рекомендую ознакомиться с уровнем интеграции с zones и sun cluster.

А зря. ZFS это действительно не кластерная ФС.

маразм крепчал

Мне тут уже написали, систему таки докрутили, оказывается, и квоты появились. Раньше не было, а о данном улучшении я не был проинформирован.

стесняюсь спросить, а ext3/4 прямо и под соляру и винду имеется?

Нет, но ext# это просто ФС, без претензий на то, чтобы выходить за рамки posix и т.п.
ZFS - файлуха предлагаемая одним вендором. Sunом.
Ext3 поддерживается Новелем, Редхатом, Убунтой и т.п. «Заточка» под Ext3 не приведёт к несовместимости с reiser, jfs2, ufs...
Заточка под ZFS это «блюдо одного повара». Тем более, что я не умею его готовить.

Hokum ☆☆☆☆ ()
Ответ на: комментарий от Hokum

Выделение ФС для юзера это не квоты.

А что это? По-моему, «если что-то выглядит как утка, плавает как утка и крякает как утка, то это, вероятно, утка и есть.».

iZEN ★★★★★ ()
Ответ на: комментарий от iZEN

То есть ZFS отличная ФС для нетбуков, но не тех, которые нетбуки, а тех, которые будут с парой гигов ОЗУ и четырёхядерными процами. Зачот.

Hokum ☆☆☆☆ ()
Ответ на: комментарий от EvgGad_303

Так что, меня обманули и квот по прежнему нет?

Hokum ☆☆☆☆ ()
Ответ на: комментарий от iZEN

Меня не особенно волнуют причины, я говорю о том, что в реальном продакшене люди сегодня отказываются от ZFS на соляре в пользу альтернативы.

Hokum ☆☆☆☆ ()
Ответ на: комментарий от Hokum

Именно! Развивайтесь вместе с нами. Новое оборудование, хотя и не «Full», но уже «Ready» для ZFS.

iZEN ★★★★★ ()
Ответ на: комментарий от Hokum

Меня не особенно волнуют причины, я говорю о том, что в реальном продакшене люди сегодня отказываются от ZFS на соляре в пользу альтернативы.

Альтернативы в каком виде?

iZEN ★★★★★ ()
Ответ на: комментарий от Hokum

Дайте Ваше определение квот ФС. Пожалуйста. Что, на Ваш взгляд должна предоставлять ФС в виде квот, какие свои ресурсы?

iZEN ★★★★★ ()
Ответ на: комментарий от iZEN

Тут большая проблема появляется, представляешь себе выбор - Магазин с нетбуками, и стоят два 8-ми ядерника с 6 гигами на борту, и ОС - FreeBSD/ZFS либо SunOS 5.11/ZFS.
Одуреть же

Hokum ☆☆☆☆ ()
Ответ на: комментарий от Hokum

В Mac OS X ещё ZFS поддерживается неофициально.

iZEN ★★★★★ ()
Ответ на: комментарий от iZEN

мда. Я вот всё думал, почему квот в ZFS нет. А, оказывается, дело-то в том, что они не нужны...

Тогда вопрос, зачем же они их всё-таки сделали, а они их сделали.

Hokum ☆☆☆☆ ()
Ответ на: комментарий от Hokum

>>Никто не будет рвать на себе волосы пытаясь обеспечить её поддержку в своих продуктах.

я повторюсь - а используемая в основных серверных дистрах ext где еще можно наблюдать? может есть примеры применения в среде ms win cluster или куда его там?

EvgGad_303 ★★★★★ ()
Ответ на: комментарий от EvgGad_303

Посчитайте количество дистрибьюторов, которые поддерживают ext3. А Windows это ещё более закрытая платформа, нежели Солярис.

Hokum ☆☆☆☆ ()
Ответ на: комментарий от Hokum

замечательный клиент, раз обладает такими навыками и знаниями, тут можно только поздравить.
но зависит все от характера приложения и от настроек фс. я наблюдал неоднократно падение производительности после миграции на zfs, но это обычно решается «тонкими» настройками.

EvgGad_303 ★★★★★ ()
Ответ на: комментарий от EvgGad_303

Куда копать? Требуется обеспечить максимально быстрое выполнение сотен тысяч транзакций, это режим постоянного обновления сотен тысяч файлов.
В случае Linux делали lvm фс без журнала, на соляре, соответственно, ufs и svm

Hokum ☆☆☆☆ ()
Ответ на: комментарий от Hokum

Куда копать?

В сторону выбора алгоритма подсчёта контрольных сумм, естественно.

Да, на LVM не получишь былой производительности при наличии снапшота одной из ФС.

iZEN ★★★★★ ()
Ответ на: комментарий от Hokum

>>А зря. ZFS это действительно не кластерная ФС.

смотря что есть для вас кластер...
для HighAvailability лучше я не знаю, честно.
а HPC я уже писал - zfs и соляру туда даже сам сан не ставит, если конечно клиент не скажет НАДО.

«Заточка» под Ext3 не приведёт к несовместимости с reiser, jfs2, ufs...

не распарсил. заточка это чито и как? то есть можно не имея ядреного модуля для ext считать данные имея драйвер для reiser или что?

Мне тут уже написали, систему таки докрутили, оказывается, и квоты появились. Раньше не было, а о данном улучшении я не был проинформирован.


было все и раньше, как уже сказали, в другом виде, нетрадиционном, но оно работало так же как и классические квоты. почитайте что есть pool в zfs и что с ним можно делать.

EvgGad_303 ★★★★★ ()
Ответ на: комментарий от EvgGad_303

почитайте что есть pool в zfs и что с ним можно делать.

Кстати, уже есть свежий PDF на русском?

iZEN ★★★★★ ()
Ответ на: комментарий от iZEN

дунно )
я как то к инглишу привычней, в плане дальнейшего применения информации, общения с коллегами и тд

EvgGad_303 ★★★★★ ()
Ответ на: комментарий от EvgGad_303

Кластер в понимании распределённой системы с большим количеством хостов.

Речь идёт о том, что было в треде ранее. Там было сказано, что для того, чтобы раскрыть все прелести ZFS надо уйти от ограниченного posix и работать прямо с ФС используя все её фичи.
Такая заточка приведёт к большим затруднениям в случае необходимости миграции с ZFS. В случае с традиционными ФС такая глубока заточка с уходом от posix не требуется, а потому привязка к вендору значительно менее глубокая.

Был костыль. Санки сами признали, что это костыль, когда сделали нормально.

Hokum ☆☆☆☆ ()
Ответ на: комментарий от iZEN

Значительного падения производительности не фиксируется.
Задача будет актуальна вплоть до миграции на symmetrix, там судя по тестам всё просто волшебно станет. Кстати, вместе с переходом на него тема соляриса и zfs будет закрыта. Это к вопросу о применении zfs в ынтерпрайсе...

Hokum ☆☆☆☆ ()
Ответ на: комментарий от EvgGad_303

Когда и какая ожидается следующая версия?

iZEN ★★★★★ ()
Ответ на: комментарий от Hokum

хех, без детального знания системы, например свеженький explorer, это гадание на кофейной гуще. какие схд, какой raid-level, какие hba, fc-sw, что за приложение? это как правило анализ не на форуме просраться, а как минимум пару дней серьезной работы.
он если все работает, проблем нет, клиент доволен - зачем копать?
или все-таки что-то тут не чисто....

EvgGad_303 ★★★★★ ()
Ответ на: комментарий от Hokum

на symmetrix

Это гораздо дороже «наколенных» решений.

Кстати, вместе с переходом на него тема соляриса и zfs будет закрыта.

Зато будет открыта тема с откатами, да ведь?

iZEN ★★★★★ ()
Ответ на: комментарий от EvgGad_303

Там всё просто, Internal SAS 15k 600Gb, RAID-1.
После того, как поставили sunos 5.10 с дефолтным ZFS оказалось, что при пиковой нагрузке iowait становится неприличным, теряется всякое псевдо RT.
Вернули ufs - оказалось, что всё путём.
Стали тестить - получили от 5% процентов на не нагруженной, до 15% и выше при пиках на нагруженной системе.
Параметры крутили-крутили - в итоге при пиках остался примерно 15% проигрыш. Причём производительность solaris+zfs на пике оказалась даже хуже, чем rhel+ext3 без журнала. Хотя задача изначально родная для соляры.

Hokum ☆☆☆☆ ()
Ответ на: комментарий от iZEN

Вариантов нет, скорости внутреннего sas не хватает уже сейчас, а нагрузка будет расти.
Симетр просто про запас, так как неизвестно, каковы границы этого роста

Hokum ☆☆☆☆ ()
Ответ на: комментарий от Hokum

>>Кластер в понимании распределённой системы с большим количеством хостов.

улыбнуло, похоже ha и hpc вам ничего не говорит. по сему про кластеры с вами спорить бесполезно.

Речь идёт о том, что было в треде ранее. Там было сказано, что для того, чтобы раскрыть все прелести ZFS надо уйти от ограниченного posix и работать прямо с ФС используя все её фичи.


уйти не в прямом понимании этого слова, надо просто абстрагироваться от классических определений, для полного понимания ЧТО такое zfs и КАК его готовить.
а что может помешать перебраться обратно, на тот же ufs? не подскажете? а то вдруг тут еще пару практиков выскажут свое мнение и придется таки забросить эту гадость.

EvgGad_303 ★★★★★ ()
Ответ на: комментарий от EvgGad_303

Почему же, говорит. Хотите говорить аббревиатурами - ради бога.

Я не знаю, как именно я должен отказываться от рамок posix, потому ответить не могу. Знаю лишь, что посикс очень помогает - например, вышеупомянутая задача была замечательно запущена на линуксе, на другом железе и совершенно другой ФС, хотя изначально писалась под соляру.
Это как раз оно - отсутствие глубокой анальной привязки

Hokum ☆☆☆☆ ()
Ответ на: комментарий от Hokum

> Там было сказано, что для того, чтобы раскрыть все прелести ZFS надо уйти от ограниченного posix и работать прямо с ФС используя все её фичи.

Такая заточка приведёт к большим затруднениям в случае необходимости миграции с ZFS. В случае с традиционными ФС такая глубока заточка с уходом от posix не требуется, а потому привязка к вендору значительно менее глубокая.


Не, ты определенно клоун. Тебе когда снэпшот на твоем мидрэнже твоем любимом надо создать, ты ж не плачешь, что надо для этого какую команду запустить или в гуйне на баттоны покликать? Так вот ZFS позволяет и без говномидрэнжей обойтись - берешь команду zfs(1M) и создаешь снэпшотов сколько надо. В чем тут привязка-то? Захочешь от ZFS избавиться, заменишь в скрипте команду zfs на что-нибудь другое и всего делов.

Вот если, конечно, на возможность создания снимков через NFS или CIFS подсядешь путем создания файла в .zfs/snapshots/<имя снимка> - тогда да, уже завяжешься. Но ведь никто не заставляет, правда?

anonymous ()
Ответ на: комментарий от Hokum

на вскидку
- raid1 для random write?
- размер блока у приложения какой?
- железо то какое? помимо hdd.

EvgGad_303 ★★★★★ ()
Ответ на: комментарий от anonymous

Привязка в том, что принципы работы с ZFS отличаются. Тут уже говорили про тонкий тюнинг, я подозреваю, что ФС настолько самобытная, что для того чтобы полноценно её юзать нужно изначально проектировать и писать всё с учётом этих особенностей. То есть, оборотной стороной специализации становится потеря универсальности, man неандертальцы vs кроманьёнцы.

Hokum ☆☆☆☆ ()
Ответ на: комментарий от Hokum

> Таким образом вывод о пригодности ZFS для мобильных устройств, увы, не в её пользу.

Ты ж вроде за ынтерпрайз начинал.. Но как нетрудно увидеть из этого треда, познаний в этом самом ынтерпрайзе и тебя кот нассал, поэтому и норовишь уползти куда-нибудь в сторону.

anonymous ()
Ответ на: комментарий от Hokum

А если на RAID-1 подвязаться?

>Вариантов нет, скорости внутреннего sas не хватает уже сейчас, а нагрузка будет расти.

zfs attach poolname olddisk newdisk1 newdisk2 newdisk3

Не?

iZEN ★★★★★ ()
Ответ на: комментарий от anonymous

я и до сих пор не вижу ничего зазорного в том, чтобы считать zfs системой для серьёзных а не десктопных задач

Hokum ☆☆☆☆ ()
Ответ на: комментарий от iZEN

точным знанием не обладаю, но можно предположить что v22 ибо osol b134 оно самое.

EvgGad_303 ★★★★★ ()
Ответ на: комментарий от Hokum

ZFS прежде всего для дешёвого железа. Надёжность — самый определяющий фактор в этом случае. Уровень надёжности на дешёвом железе она обеспечивает не хуже какого-нибудь дешёвого RAID-контроллёра за 500$, но делает это силами CPU и RAM.

iZEN ★★★★★ ()
Ответ на: комментарий от EvgGad_303

- исторически сложилось
- файлы мелкие совсем, но в принципе можно менять налету
- IBM LS41

Hokum ☆☆☆☆ ()
Ответ на: комментарий от iZEN

Как ты думаешь, если заказчик согласен на симетр, для него очень актуальна цена железа? :)

Hokum ☆☆☆☆ ()
Ответ на: комментарий от Hokum

> Привязка в том, что принципы работы с ZFS отличаются

Столько лулзов в одном треде :-) Принципы ничем не отличаются - POSIX он и в африке POSIX. Где траву такую берешь?

Тут уже говорили про тонкий тюнинг, я подозреваю, что ФС настолько самобытная, что для того чтобы полноценно её юзать нужно изначально проектировать и писать всё с учётом этих особенностей.

Ниче не нужно. Нужно только при внедрении немного подумать головой, а не жопой. И все будет хорошо. А если думать жопой, или специально добиваться нужного результата, то можно сколь угодно плохой результат выжать из любой системы.

Держи, делюсь ссылкой:

http://developers.sun.com/solaris/docs/wp-oraclezfsconfig-0510_ds_ac2.pdf

Ну и вот тут еще больше всего интересного:

http://developers.sun.com/solaris/whitepapers/index.jsp

anonymous ()
Ответ на: Re: А если на RAID-1 подвязаться? от Hokum

физически некуда пихать, нужно уходить от внутреннего стореджа

На symmetrix заявлены винчестеры до 181ГБ, вроде. Разнесение модулей по стойке(ам) решат проблему места/объёма, но всплывут проблемы с дикой латентностью.

iZEN ★★★★★ ()
Ответ на: комментарий от anonymous

Нигде не беру, читайте тред, это не моя идея - отказаться от posix.

Hokum ☆☆☆☆ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.