наша саксесс стори - делим на луны и пробрасываем на лезвия блейда и на сервера с FC-контроллерами. Пара серверов с FreeNAS раздают по iSCSI данные по серверам без FC-контроллеров. Завязывать всё на 1 сервер - очень необычная идея. Обычно производительность хранилища на 20ТБ больше, чем один канал FC, и даже 2 канала FC.

XFS хорошо оптимизирована для многопоточности — читай про Allocation Groups.

>Завязывать всё на 1 сервер - очень необычная идея. Обычно производительность хранилища на 20ТБ больше, чем один канал FC, и даже 2 канала FC.

Планируем 4 - 6 FC портов. + мультипасинг бы нормально заработал. Судя по http://www.mail-archive.com/cbe-linux@yahoogroups.com/msg00266.html , даже просто конфигурирование девайсов через SAN довольно нетривиальная процедура...

т.е. будет несколько серверов резервирования? Если нет - сам понимаешь, узкое место появится на пути к серверу резервирования.

Погоди... так эти 20ТБ - собраные на 1м сервере через SAS? Самосборное хранилище? Если так - то я вообще не о том говорю :)

>Погоди... так эти 20ТБ - собраные на 1м сервере через SAS? Самосборное хранилище? Если так - то я вообще не о том говорю :)

Никакого самосбора. Storage <-> SAN <-> Brocade DCX <-> HBA QLogic <-> Server. Вопрос про линуксовую FS и как нарезать.

>>Вопрос про линуксовую FS и как нарезать.

а что мешает использовать vxfs? раз уж

В тёплом ламповом Solaris я бы нарезал LUN по 1 - 2 Тб и создал бы пул и сделал на нём ZFS или VXFS.

Я бы гигабайтов 200 отдал под разные дистрибутивы (у меня их много) и пару разделов про запас, остальное - на хранилище данных, ext4.

>а что мешает использовать vxfs? раз уж

Решение больше экономическое. Сановский сервер не покупаем, потому что x86 для данной задачи дешевле и скорость потока у него тупо выше. Софт не поддерживает Solaris x86, только solaris/sparc или linux/x86_64. Veritas Storage Foundation или его часть тоже под такую задачу покупать не хотим.

Про allocation groups и тюнинг XFS сейчас читаю, спасибо за кейворды! Вот бы похожую доку, но для больших ФС http://everything2.com/index.pl?node_id=1479435 найти! Пока представляю концепцию, чтобы нарезать десяток LUN'ов по 2 Тб (в дальнейшем изменить будет весьма проблематично, разве что на ленты всё сливать), а потом экспериментировать с опциями XFS на месте.

>Я бы гигабайтов 200 отдал под разные дистрибутивы

блин, а у меня уютная гента с портеджами на 10 гигов. 190 будет простаивать.

остальное - на хранилище данных, ext4.

fsck за неделю на EXT4 закончится? :)

Попробуй Oracle Linux. Там я видел XFS

Гента всего лишь 10 гигов? Завидую.
У меня терабайт и 400 гигабайтов отдано под хранилище файлов. Я хотел от них постепенно отрезать понемногу для новых дистрибутивов, но быстро заполнил файлами. Там ext2. И этот ext2 проверяется очень долго! Остальные разделы ext4 и когда проверяются по причине «монтировалось 37 раз без проверки, хочу проверить», проверяются мгновенно! ext2 и ext3 проверялись долго.

ZFS же. Как там порты под Линух поживають?

Почему бы не использовать теплый ламповый VXFS на линуксе?

>ZFS же. Как там порты под Линух поживають?

Bussiness critical данные под ФС в статусе experimental, да еще и с модулями-самособранными? ROFL...

>Почему бы не использовать теплый ламповый VXFS на линуксе?

Как было сказано здесь: Есть 20 Tb. Как нарезать и что за FS создать? (комментарий) , пока хочется сэкономить на софте.

>Bussiness critical данные под ФС в статусе experimental, да еще и с модулями-самособранными? ROFL...

Не флейма ради, но половина современного ядра в статусе experimental. Во FreeBSD ZFS уже отмечена как стабильная (ещё в 8.1 ЕМНИП), вот я и спрашиваю, есть ли порты под Linux.

В тёплом ламповом Solaris я бы нарезал LUN по 1 - 2 Тб

Объясните, почему вы не хотите отдавать RAW-носители в полное владение ZFS, а делаете дополнительнуюый прокладку слой изоляции?

Причин достаточно

Самое первое, что приходит в голову - организация отказоустойчивости. К примеру, на полке одна хотспара может ездить в случае аварии между всеми дисковыми группами, т.е. разными хостами. Так же ресинком будет заниматься не хост, на котором произошел сбой, а полка. А хост будет работать в штатном режиме, ну разве что iopsы упадут на время ресинка возможно.

Слишком высокая цена для такой задачи

Veritas Storage Foundation Basic is a free version of the

industry-leading Storage Foundation solution designed for heterogeneous online storage management of edge-tier workloads with up to four file systems, four volumes, and two processor sockets per system

Это случайно не подходит под вашу систему?

>Я бы гигабайтов 200 отдал под разные дистрибутивы

Наркоман? Или не знаешь про livecd/виртмашины?

>with up to four file systems, four volumes, and two processor sockets per system

Спасибо, но в такие минимальные требования не уложусь.

Объясните, почему вы не хотите отдавать RAW-носители в полное владение ZFS, а делаете дополнительнуюый прокладку слой изоляции?

Только в случае ZFS значимых аргументов против объединения RAW-девайсов в zpool действительно сложно найти. Особенно, если сторадж используется эксклюзивно на одном хосте. В случае любой другой ФС или RAW для Оракла преимущества очевидны. Контроллеры дисковой полки всё-же оптимизированы именно для своей задачи. Вот пусть и занимаются расчётом чётности для RAID5. Также, если вылетит диск, иногда бывают случаи, когда ОС не может корректно эту ситуацию обработать, ввод/вывод будет стоять, к диску ушла SCSI команда, а подтверждения от устройства нет. Аппаратный RAID будет надёжнее.

2GB RAM на 1TB FS

замечательная утилита xfscheck требует для работы примерно 2GB памяти на каждый терабайт файловой системы

>замечательная утилита xfscheck требует для работы примерно 2GB памяти на каждый терабайт файловой системы

Значит, с 64 Гб на борту взлетит. Нормально.