Давно пользовался?

Это не твои проблемы.

>Читай матчасть. Снимок - это не полная копия данных -D

Неполную тоже надо кормить. В пользовательском компе имеется 4 сата разъёма. Один занят приводом оптических дисков, остальные винтами. Причём какая бы ни была ёмкость винтов, через некоторое время остаётся свободным не более 10-20% пространства, на них и приходится балансировать. Закон подлости.

Говори только за себя. Мне не хватает. Я бы btrfs использовал, да только тормозит он.

Не дотягивают пока персоналки до кластеров, проблема. Предпочитаю жить по средствам, следовательно исходить из реальных возможностей доступного железа. Об остальном можно помечтать на будущее. Пусть пилят разные ФС, может когда и пригодятся. А пока и для фат32 применение есть - на ней музыка расшарена между разными операционками.

>В пользовательском компе имеется 4 сата разъёма

У меня их шесть.

Не дотягивают пока персоналки до кластеров, проблема. Предпочитаю жить по средствам, следовательно исходить из реальных возможностей доступного железа. Об остальном можно помечтать на будущее. Пусть пилят разные ФС, может когда и пригодятся. А пока и для фат32 применение есть - на ней музыка расшарена между разными операционками.

Ты выдаёшь свои потребности за общие.

А тебе пролетарский сленг не нравится;) Ну так о том насколько _Ваш_ стиль общения и мировозрения «нравится» «бескультурному быдлу», оное культурно не доводит до сведения аппонентов, в отличии от белых господинов господ.

Не ровняй пролетариев с дураками.

>Не думаю что для десктопа это актуальная проблема.
Актуальная. У маководов например есть time machine, я такое же хочу

Умные это те, кто разделяют твою точку зрения, а дураки все остальные?

Умные - это которые могут строить осмысленные фразы, понятные другим. Ты это делать не собираешься, выдавая свою безграмотность за некую фичу пролетариата. Вывод закономерен.

Это не снапшоты. Это фен-микроволновка

С умом - это как? Можно руководство?

> За себя говори. Мне бы снапшоты очень не помешали.

а зачем они конкретно вам нужны?

> ну да, ынтерпрайс, разумеется, экономит на raid контроллерах, а сервера собирает сам на базе б/у селеронов и cyrix материнок.

Cyrix не выпускала материнок, скорее всего имелась в виду Zida tomato

>Ext4 не поддерживает барьеры на софтверных RAID в Linux. Аппаратные RAID дороги.

ext4 как и ext3 поддерживает барьеры:
$ grep ext4 /proc/mounts
/dev/rootvg/root64lv / ext4 rw,noatime,barrier=1,data=ordered 0 0
/dev/mapper/rootvg-home64lv /home ext4 rw,noatime,barrier=1,data=ordered 0 0

раньше dm не поддерживал их, но в прошлом году все починили:
https://bugzilla.kernel.org/show_bug.cgi?id=9554

а zfs, да, крут

А как же это утверждение:

Когда барьеры работать не будут

С барьерами есть небольшая проблема. Их не всегда можно использовать. Барьеры не будут работать при использовании device mapper, поскольку он не поддерживает барьеры в принципе. Так что, даже если для вашей ФС включены барьеры, толку от этого будет мало, если сама ФС расположена на логических томах (в RedHat и производных от него такое решение является традиционным), на программном RAID или на томах multipathd.

Одним из решений избежать подобной ситуации — это избежать использования device mapper и ему подобных способов организации дисков. Так что, когда будете настраивать сервер, не пропустите следующие моменты. Во-первых, не устанавливайте ОС на LVM, используйте «традиционный» способ организации разделов. Во-вторых, откажитесь от использования multipathd, который использует в своей работе device mapper для того, чтобы создавать избыточные пути к SAN. Иногда производители SAN поставляют проприетарный драйвер в качестве альтернативы multipathd, но это лишь иногда. В любом случае наилучшим выбором будет hardware решение.

???

>А как же это утверждение:

Видимо, автор не читал первоисточник или не держал руку на пульсе.
Интернеты полны криков на счет отсутствии поддержки барьеров в dm.
Вот человек и поверил, а зря.

>>Гигантских объёмов и места для хранения снимков на них нет

Попроси у мамы денюжку на терабайтник -D

Ну давай посчитаем :)))

2Tbyte за ~2500р.

т.к. сектор 4к, то для адресации задействовано 2^29 бит из 64-х
то есть нам нужен (чтоб оправдать 128бит) zpool из 2^35 ~ 32 000 000 000 дисков!
это будет стоить порядка 80 млр. руб.,

Твоя мама готова столько тебе выложить? :)))

Ext4 не поддерживает барьеры на софтверных RAID в Linux. Аппаратные RAID дороги.

/usr/src/linux-2.6.37.1-2/drivers/md # grep -A 10 int\ raid0_make_request *
raid0.c:static int raid0_make_request(mddev_t *mddev, struct bio *bio)
raid0.c-{
raid0.c-        unsigned int chunk_sects;
raid0.c-        sector_t sector_offset;
raid0.c-        struct strip_zone *zone;
raid0.c-        mdk_rdev_t *tmp_dev;
raid0.c-
raid0.c-        if (unlikely(bio->bi_rw & REQ_FLUSH)) {
raid0.c-                md_flush_request(mddev, bio);
raid0.c-                return 0;
raid0.c-        }
/usr/src/linux-2.6.37.1-2/drivers/md # grep -A 10 void\ md_flush_request *
md.c:void md_flush_request(mddev_t *mddev, struct bio *bio)
md.c-{
md.c-   spin_lock_irq(&mddev->write_lock);
md.c-   wait_event_lock_irq(mddev->sb_wait,
md.c-                       !mddev->flush_bio,
md.c-                       mddev->write_lock, /*nothing*/);
md.c-   mddev->flush_bio = bio;
md.c-   spin_unlock_irq(&mddev->write_lock);
md.c-
md.c-   INIT_WORK(&mddev->flush_work, submit_flushes);
md.c-   queue_work(md_wq, &mddev->flush_work);

/usr/src/linux-2.6.37.1-2/drivers/md # grep -A 25 void\ submit_flushes *
md.c:static void submit_flushes(struct work_struct *ws)
md.c-{
md.c-   mddev_t *mddev = container_of(ws, mddev_t, flush_work);
md.c-   mdk_rdev_t *rdev;
md.c-
md.c-   INIT_WORK(&mddev->flush_work, md_submit_flush_data);
md.c-   atomic_set(&mddev->flush_pending, 1);
md.c-   rcu_read_lock();
md.c-   list_for_each_entry_rcu(rdev, &mddev->disks, same_set)
md.c-           if (rdev->raid_disk >= 0 &&
md.c-               !test_bit(Faulty, &rdev->flags)) {
md.c-                   /* Take two references, one is dropped
md.c-                    * when request finishes, one after
md.c-                    * we reclaim rcu_read_lock
md.c-                    */
md.c-                   struct bio *bi;
md.c-                   atomic_inc(&rdev->nr_pending);
md.c-                   atomic_inc(&rdev->nr_pending);
md.c-                   rcu_read_unlock();
md.c-                   bi = bio_alloc_mddev(GFP_KERNEL, 0, mddev);
md.c-                   bi->bi_end_io = md_end_flush;
md.c-                   bi->bi_private = rdev;
md.c-                   bi->bi_bdev = rdev->bdev;
md.c-                   atomic_inc(&mddev->flush_pending);
md.c-                   submit_bio(WRITE_FLUSH, bi);
md.c-                   rcu_read_lock();

Что я не так делаю?

Если это такая няка, то почему даже владельцы Solaris бизнеса этим не пользуются ???? :)

И, да, 4 пункт работает ТОЛЬКО в Solaris.

>И, да, 4 пункт работает ТОЛЬКО в Solaris.

echo "..." >> /etc/exports; service nfsserver --full-restart

или пара тыков мышью в yast2. :-)

+1

После того как ZFS стал основной FS в Solaris Express, запустить его на машине с 512 метрами памяти стало невозможно :(

И да ... Apple то же что то быстро отказалась ZFS root ;)

P.S.: И да, ZFS вдоль и поперёк использует украденные у NetApp и технологии :) Они долго судились, но в итоге втихую договорились. Так что в продуктив ZFS ставить не на контрактном солярисе == самоубийство IMHO.

Я дома юзаю для файлопомойки ZFS-FUSE уже больше двух лет, всё отлично, ни разу не падало. Начинал с 3.5Тб, сейчас уже 13Тб из трёх RAID-Z групп, unstable ветка ихняя, пул 26 версии. Вообще мне из фичей его нужны только контрольные суммы, ибо железо нынче глючное частенько бывает, так что ZFS + память ECC вполне себя оправдывает, за всё это время несколько раз оно ловило блоки с битой контрольной суммой и правило их. С другими ФС же это пройдёт незамеченным (раньше был XFS и глючный контроллер бывало портил файлы).

# zpool status
  pool: zfscrypto
 state: ONLINE
 scan: scrub repaired 0 in 5h59m with 0 errors on Sat Mar  5 10:19:59 2011
config:

        NAME                                STATE     READ WRITE CKSUM
        zfscrypto                           ONLINE       0     0     0
          raidz1-0                          ONLINE       0     0     0
            mapper/WD_1TB_WX41E5095551      ONLINE       0     0     0
            mapper/WD_1TB_WX41E50R8149      ONLINE       0     0     0
            mapper/WD_1TB_WX61C5002198      ONLINE       0     0     0
            mapper/WD_1TB_WX71C50J5608      ONLINE       0     0     0
            mapper/WD_1TB_WX81A9065176      ONLINE       0     0     0
            mapper/WD_1TB_WXA1A9092591      ONLINE       0     0     0
            mapper/WD_1TB_WXD1E70L2881      ONLINE       0     0     0
            mapper/WD_1TB_WXD1E70L3220      ONLINE       0     0     0
            mapper/WD_1TB_WXK1A80U4959      ONLINE       0     0     0
          raidz1-1                          ONLINE       0     0     0
            mapper/WD_640GB_WX31A2078672    ONLINE       0     0     0
            mapper/WD_640GB_WX51A20J5687    ONLINE       0     0     0
            mapper/WD_640GB_WX51A20K5742    ONLINE       0     0     0
            mapper/WD_640GB_WX51A20T0441    ONLINE       0     0     0
            mapper/WD_640GB_WX51A20T2215    ONLINE       0     0     0
            mapper/WD_640GB_WXE1A1027654    ONLINE       0     0     0
            mapper/WD_640GB_WXE1A1027798    ONLINE       0     0     0
            mapper/WD_640GB_WXE1A1028430    ONLINE       0     0     0
          raidz1-2                          ONLINE       0     0     0
            mapper/WD_500GB_WXN409NY5067    ONLINE       0     0     0
            mapper/WD_500GB_WXN409NZ9425    ONLINE       0     0     0
            mapper/SS_500GB_S0MUJ1MP723880  ONLINE       0     0     0
            mapper/SG_500GB_9VM1T28N        ONLINE       0     0     0
            mapper/SG_500GB_9QG0AK5W        ONLINE       0     0     0

errors: No known data errors

И, да, 4 пункт работает ТОЛЬКО в Solaris.

Странно, у меня оно в локалке на FreeBSD-only работает.

И, да, ещё медиаплеер на Linux по сетке тоже видит расшаренные в ZFS каталоги с музыкой и фильмами.

>>то почему даже владельцы Solaris бизнеса этим не пользуются ???? :)

непонятно о чем вы, но очень много клиентов переехали на zfs ;)

>>И да ... Apple то же что то быстро отказалась ZFS root ;)

там несколько другие причины, имхо, кварц и файндер заточены под максимальную простоту использования простыми пользователями и концепция zfs туда просто не вписывается ж)

И да, ZFS вдоль и поперёк использует украденные у NetApp и технологии

а вот тут подробнее попрошу

blind_oracle> Я дома юзаю для файлопомойки ZFS-FUSE уже больше двух лет, всё отлично, ни разу не падало.

А я дома без штанов хожу и тоже отлично стоит и не падает.

> P.S.: И да, ZFS вдоль и поперёк использует украденные у NetApp и технологии :) Они долго судились, но в итоге втихую договорились.

Я так понимаю сэр имел возможность сравнить исходные тексты ZFS и WAFL, прежде чем делать такие заявления? А то NetApp надувал-надувал щеки на эту тему да так никаких доказательств «кражи» не привел. И по какому-то странному стечению обстоятельств большая часть заявленных для разбирательства патентов не прошла повторной экспертизы.

К чему бы это?

>>ты, расово верный GPL'щик

вы меня перепутали с кем-то

будешь юзать нативный ZFS под неправославной лицензией?

придет Столлман и покусает?

Нет, просто код по неправославными лицензиями перестают поддерживать после того, как автор разберется в том как же там все работает.

Новые авторы не появляются, ибо разобраться можно только если сам портировать начал.

> Если это такая няка, то почему даже владельцы Solaris бизнеса этим не пользуются ???? :)

Это Оракл имеется ввиду? Так у них даже продукт есть такой - oracle zfs storage appliance. Ы?

>непонятно о чем вы, но очень много клиентов переехали на zfs ;)

Это там у вас в эстляндии да всяких прочих эуропах с америцами переехали. А в роботляндии видимо денег куры не клюют, так что роботы голосуют роблём за VxVM и прочие антивирусы

> Нет, просто код по неправославными лицензиями перестают поддерживать после того, как автор разберется в том как же там все работает.

Можно подумать, что код под православными лицензиями чем-то в этом смысле принципиально отличается. Или вы намекаете на то, что поддержкой кода под православными лицензиями можно заниматься не пон мая как и что работает? о_О

Новые авторы не появляются, ибо разобраться можно только если сам портировать начал.

Конечно для православного кода новые авторы появляются уже просветленными духом человека-стола и разбираться в том, что и как там работает им и ни к чему вовсе. Самому то не смешно?

сейчас еще хокум встрепенется и расскажет про необходимость vxvm, потому что lvm гогно, но об этом ни слова, ибо линукс рулит. и пох, что закрыто и платно, но этож не бесплатно и не входит в core system solaris, как попсня zfs Ж)

> сейчас еще хокум встрепенется и расскажет про необходимость vxvm, потому что lvm гогно, но об этом ни слова, ибо линукс рулит. и пох, что закрыто и платно, но этож не бесплатно и не входит в core system solaris, как попсня zfs Ж)

Ога, за выбор же zfs на острова к морю-окияну с блэкджеком и гейшами не отправят. А вот где бабло - там еще может быть. А то ведь судя по бложику с зряплаты придется пару тысячелетий копить, а ведь хочется то поди здесь и сейчас :)

lvm2 mirror

Раз пошла такая пьянка, может кто знает почему lvm2 читает только с одного подзеркала зеркального тома? zfs, vxvm, svm, aix lvm - все ведут себя по другому (по умолчанию). Я просто не нашел переключатель?

>> Нет, просто код по неправославными лицензиями перестают поддерживать после того, как автор разберется в том как же там все работает.

Можно подумать, что код под православными лицензиями чем-то в этом смысле принципиально отличается. Или вы намекаете на то, что поддержкой кода под православными лицензиями можно заниматься не пон мая как и что работает? о_О

Новые авторы не появляются, ибо разобраться можно только если сам портировать начал.

Конечно для православного кода новые авторы появляются уже просветленными духом человека-стола и разбираться в том, что и как там работает им и ни к чему вовсе. Самому то не смешно?

Хм... Раз делаешь вид что не понял, значит тролишь, но есть шанс что и в самом деле не понял. Поэтому попытаюсь разъяснить.

Использование неправославной лицензии приводит к тому, что нет других стимулов, кроме как разобраться что и как работает, тем самым показав свою крутизну. Как только этот стимул достигнут и крутизна показана проект быстро забывается. Все знают, что лицензия не православная и вероятность нахождения людей для второй стадии близко к нулю.

Для правсославных лицензци после первой стадии появляется вторая. Когда код уже есть и кому-то нужно, что бы оно работало. Когда вероятность появление заинтересованных людей значимо отлично от нуля присоединяется категория людей, работающих только в том случае, если они уверены, что проект будет жить долго.

Ну и для правсославных лицензий вторая стадия может наступить с самого начала.

У меня их шесть.

Ух, целых шесть. Можно «целых» 15 терабайт натыкать. Если ещё поменять блок питания... нет, корпус целиком — ибо в стандартном харды закипят. Но при чём шесть хардов и корпус от «Чифтек» к обычной пользовательской машине и даже к какому-нибудь серверу адинэс? Вот в чём был вопрос-то. Как говорил некто:

Ты выдаёшь свои потребности за общие.

2 терабайта стоят в Москве около 8000 рублей.

Несчастные анонимусы явно не понимают, что админы в ынтерпрайсе не покупают ни софт ни железо на свои деньги. Какая мне разница, сколько он стоит, если он нужен то его покупают, если нет - то нет.

Это снапшоты, и они работают.

С умом это когда он есть и когда читаешь документацию

Смысл в том, что проблема явно надумана, даже в малом бизнесе уже никто не собирает серверы на коленке из бросового железа

Нет, я уже давно не склонен разговаривать всерьёз с человеком, для которого ZFS это полноценное энтерпрайс решение.

>Я дома юзаю для файлопомойки

Интересно конечно, спасибо, познавательно. Последние 5 лет дома использую LVM и reiserfs и диски raw space = 120Gb.

И мне хватает.

P.S.: Просто интересно, а что Вы там храните ?????

P.P.S.: Да, за эти 5 лет у меня не было ситуации «за всё это время несколько раз оно ловило блоки с битой контрольной суммой», может стоит лучше выбирать hadrware ?

Соглашусь с вами :)

>Можно «целых» 15 терабайт натыкать

А можно ещё купить pci-e контроллер с sata-портами.

Во-первых, место под снапшоты в LVM нужно резервировать, а во-вторых - они занимают в LVM больше места, потому что стоит в LVM изменить один кластер файловой системы, как LVM уже копирует целый экстент, который в сотни раз больше кластера.

Сравнение возможностей LVM и ZFS

>Это ты рассказывай тем, кто не в состоянии понять принцип kiss

Микроядро тоже исповедует принцип KISS, однако на деле его многие отвергают. Почему? Потому что проще взаимоувязать две подсистемы одной системы побольше, чем полноценно взаимоувязать две небольшие отдельные системы - интерфейсная часть каждой из них становится неоправданно большой, но даже столь разбухшие инерфейсы что-нибудь нужное да и изолируют.

Кроме компонентного подхода к построению систем существует ещё подход синергетический, когда каждый компонент знает о наличии и свойствах другого и потому может максимально эффективно с ним взаимодействовать.

Микроядро как раз не соответствует принципам KISS, слишком сложное взаимодействие и синхронизация. ZFS это отличный пример системы, противоречащей KISS.