LINUX.ORG.RU
ФорумTalks

ZFS on windows

 , , ,


1

3

Решил тут попробовать приобщиться к прекрасному: собрать raidz и по iscsi в венду его засунуть.
Прекрасный человек выложил мануалы с картинками: http://2gusia.livejournal.com/30360.html

Поставил в вмварь nas4free (отдал 2 ядра и 10гб рамы), нарезал ей 4 диска по 5гб (все сложил на ссд - 1 под систему и 3 под raidz, диски сразу размечены, полного размера), собрал пул, кое как запустил iscsi (и даже к венде его подцепил).

Том появился в системе, решил я его потестить, но что-то совсем пичаль: чтение - средняя 68мбайт\сек, минимальная 30мабайт\сек. При этом мониторилка nas4free дает за 50% загрузки процессора (двух нехилых таких ядер то процессора!)

В общем, оно понятно, что вендузятник тупит и все такое, но предположим, что:
- железо под хранилку будет из разряда 4 ядра, 32гб ецц, 8-10 быстрых дисков
- сеть:
- - а) 10gbe
- - б) 40gb IB
- подключение по iscsi в венду
- raidz2

Насколько большой оверхед будет по сравнению с «все собираем в самой венде на аппаратном контроллере под рейд-6»?

PS
Я так и не понял про ZIL. Это типа вынос журнала на отдельный накопитель? Или другое?


Вендузятник тупит?

Скорее всего iscsi тебе все и тормозит.

invy ★★★★★ ()

Еще вопрос, возможен ли изврат вроде такого:
На одном наборе дисков собирается два пула:
- stripe
- raidz2
?
Быстрое начало дисков отдается под чередовалку, а медленный остаток под надежное хранение.

И массив можно только расширять (причем диском с размером не менее минимального в массиве), но невозможно скукоживать?

dk- ()
Ответ на: комментарий от invy

Первое - железно.
Второе - ну пользуют же в кровавом Ънтерпрайзе.

А какие еще варианты? Но чтоб галочками в веб-гуях из коробки.
Ну тут ладно, виртуальная сеть на 1гбит. А если реальная сеть на 10-40?

dk- ()
Ответ на: комментарий от dk-

У тебя узкое место не raidz. На дохлом микросервере он больше 300мб/с при чтении даёт с тремя WD red.

invy ★★★★★ ()
Последнее исправление: invy (всего исправлений: 1)
Ответ на: комментарий от invy

Поддерживаю.
dk- вообще неправильно подошел к этому проекту.

такое на реальном железе тестируют.

Deleted ()
Ответ на: комментарий от invy

Я в этом нисколько не сомневаюсь. Люди же пользуют и радуются.
Я пока так, теоретизирую на тему. Но вот чья-то оценка оверхеда по сравнению в рейдом в самом хосте - интересна.

PS
Вчера тестил выкачивание с микросервера (8го) по 10гбе с десятого рейда - 250-260мбайт\с в пиках, средняя чуть выше 200.

dk- ()
Ответ на: комментарий от Deleted

Перед тестами на реальном железе (даже есть на чем попробовать) надо хотя бы шары в галочки вебгуя на тренажере подолбить, не? Лор вопросами помучать. Всегда чего дельного посоветуют.

dk- ()
Ответ на: комментарий от dk-

Ну вот 68мб/с и весь твой гигабит с учётом оверхеда и виртуализации как мне кажется.

invy ★★★★★ ()
Ответ на: комментарий от invy

Пусть так. А процессор за что?! И на чем? Или фряха в этой сборке вообще не умеет в виртуализацию аппаратную?

dk- ()
Ответ на: комментарий от dk-

Ну посмотри как делает linustechtips,
у него под рендер видосов и стоит этот freenas, уже куча серверов.
и ZFS, всё работает.

Deleted ()
Ответ на: комментарий от dk-

Попробуй расшарить zfs через самбу например. Ради интереса.

Ну и да проверь чтобы во фряхе vmware tools были. (Или там уже есть подходящие модули искаропки?)

invy ★★★★★ ()
Последнее исправление: invy (всего исправлений: 1)
Ответ на: комментарий от Deleted

Грустно это все. Надо просто зарабатывать денег, чтоб можно было купить без войны с жабой несколько ссд по 2-4тб - и не париться и не красноглазить. Я всеж не айтишник ни разу.

dk- ()
Ответ на: комментарий от invy

Да я вообще хз :)

Самба меня еще послала учить уроки:
- Нельзя использовать DHCP для интерфейса LAN.
- DNS сервер пуст.
- NTP не включен.

Надо как-то выделить время на реальной железке (том же микросервере и 10гб сети) посмотреть. Галочки вот только поизучаю в вмвари.

dk- ()
Ответ на: комментарий от dk-

В венде софтварный райд тоже был. Можешь его потыкать. Правда я не уверен что он райд5/6 умеет. Но для рендеринга и временных данных можно и страйп сделать.

invy ★★★★★ ()
Ответ на: комментарий от invy

5 он умеет, но не надо. 6 - не умеет. Ресинхронизации - по каждому чиху. Не. Нафиг.

Страйп уже юзаю давно. Но хочется еще и надежный страйп типа raidz2 (ну или r6 аппарпатный).

dk- ()
Ответ на: комментарий от Deleted

850 evo на 2-4тб - заглаза. Но эти деньги пробухать - куда полезнее и разумнее :)

dk- ()
Ответ на: комментарий от Deleted

SMB, по РСБУ - это предприятие с оборотом более 120 млн руб в год ;)

dk- ()
Ответ на: комментарий от dk-

Ресинхронизации - по каждому чиху.

Например? Не перегружать комп пробовал?

invy ★★★★★ ()
Ответ на: комментарий от invy

В том то и дело, что иногда по штатной перезарузке оно потом ресинкается. Даже сраное зеркало. Даже зеркало, на котором просто лежит архив и его никто не трогает.

dk- ()
Ответ на: комментарий от dk-

Ну тогда купи нормалньый райд контроллер...

invy ★★★★★ ()
Ответ на: комментарий от invy

На самом деле меня пугает подход рейдов к вопросу «да срать, что побилось 100 файлов на ребилде, отдай остальные». Если я правильно понял из предыдущей темы (Объясните глупому, еще раз, про RAID) или рейд отдаст все целое, или не отдаст вообще ничего. А учитывая неслабую такую вероятность ошибки при ребилде...

По сути, это единственная для меня причина засматриваться на zfs.

dk- ()

А зачем красноглазить с самосбором, если на рынке есть промышленные NAS, где всё работает изкоробки, только провода втыкай в них?

Deleted ()
Ответ на: комментарий от invy

Познано соплями и кровью неоднократно. И он не для бакупа. Нужен быстрый и не рассыпающийся том. Очень быстрый и большой.

dk- ()
Ответ на: комментарий от dk-

Ну тогда что тебя останавливает? Берешь диски, ставишь в страйп, работаешь на них с «временными» данными. Убивваются - пересобираешь с нуля массив. (Ну либо райд5/6 со spare, тогда быстрее сможешь продолжить работу, если восстановится).

О каких объемах идет речь?

invy ★★★★★ ()
Последнее исправление: invy (всего исправлений: 1)
Ответ на: комментарий от invy

От 6-8тб. С как можно большей линейной записью и иопсами (ну в пределах разумного, т.е. не ссд за сотни нефти).

Мне просто идея с zfs начинает нравиться. Красивая хрень. Правда ультракрасноглазие жуткое.

dk- ()
Ответ на: комментарий от dk-

Правда ультракрасноглазие жуткое

омг, где там красноглазие?

system-root ★★★★ ()
Ответ на: комментарий от system-root

Ты сильно понимаешь в нюансах фотосъемки интерьеров при смешанном свете? Такой, за которую крутые бабки платят.

dk- ()
Ответ на: комментарий от system-root

Это я к тому, что я вообще ни разу не айтишник. Нельзя же во всем разбираться.

dk- ()
Ответ на: комментарий от dk-

в IT есть красноглазые и не_красноглазые вещи, не зависимо от того, насколько хорошо ты в них разбираешься.
и когда редкие не_красноглазые вещи «обзывают», на планете грустит один system-root

system-root ★★★★ ()
Ответ на: комментарий от invy

Кстати, про бэкапы :)
На днях тут опять была порция соплей и крови (ssd умер).

Потом сделал открытие века:
В десяточку (нет, не фряху) завезли из коробки годную бэкапилку.
Она умеет:
- по расписанию (хоть раз в час);
- на удаленный сервер\диск\флешку;
- можно выбрать что бэкапить, какие исключения;
- как долго хранить (вечно, месяц, до заполнения и т.п.);
- нормальный откат версий в духе «а отдай мне состояние файлов на рабочем столе на 17:30 позавчера» (если такая глубина\частота есть, конечно).
Прям удобно и прозрачно сделано. Могут же черти! Когда хотят.

dk- ()
Ответ на: комментарий от system-root

Я не спорю :)
Но даже подход «заплатить кому денег, чтоб все настроил» - он не всегда работает. А еще ... ну вот толку то, что-то кто-то мне все настроит, а я потом даже мониторить\обслуживать толком не смогу. А кого-то регулярно пускать в сеть - тоже не хочется.

Наверное, попробую поиграть со страйпом на зфс на имеющемся железе (даже 10гбе есть). Посмотрю, что получится. Тупо любопытно стало.

dk- ()
Ответ на: комментарий от Morin

Остается сказать спасибо самсунгу, что убил мой ссд которому еще куча лет гарантии, и утащил немного файлов. А то так и не узнал бы!

dk- ()
Ответ на: комментарий от dk-

Советую еще откопать robocopy. Полезно узнать чем люди пользуются много лет.

Morin ★★★ ()

посмотри недавние раскрытия серверов (и их потенциалов) от iwalker2000, там они конечно сбивчиво рассказывают _за_ новые энтерпрайз диски.

Если не ошибаюсь 10ТБ на гелии стоит до 500$, вообщем 3 штуки механики перекрывают 1шт нового 2ТБ штеуда по цене

Deleted ()
Ответ на: комментарий от dk-

. Надо просто зарабатывать денег, чтоб можно было купить без войны с жабой несколько ссд по 2-4тб - и не париться и не красноглазить

Серебряной пули не существует. Вот ты расспрашивал про смерть рейда 6 от невозможности пересобраться. Но вероятность этого гораздо меньше, чем внезапная и полная смерть SSD - не видится и всё.

lenin386 ★★★ ()
Ответ на: комментарий от dk-

нормальный откат версий

Если это сделано на shadow volume copy, могут быть сурпрызы. Не на десяточке, но бывает регулярно, особенно при недостатке места на разделе, копии есть-есть-есть, а потом внезапно нету )

GAMer ★★★★★ ()
Ответ на: комментарий от dk-

С как можно большей линейной записью и иопсами

Тогда зеркало )

не ссд за сотни нефти

А что насчёт L2ARC?

GAMer ★★★★★ ()

Кстати, будешь тестить на своих файлах(я так понимаю, они немаленькие и доступ обычно последовательный), увеличивай размер block size до 1МБ. Была история успеха с видеохостингом с ZFS, на хабре, кажется, где это заметно помогло.

GAMer ★★★★★ ()
Ответ на: комментарий от GAMer

Не:) Если я верно понял, там на тупо копиях файлов. Потому места жрет прилично.

dk- ()
Ответ на: комментарий от invy

узкое место не raidz. На дохлом микросервере он больше 300мб/с при чтении даёт с тремя WD red.

У меня на дестопе raidz с тремя WD red. Мне кажется, ты цифры завысил раз в 10.

melkor217 ★★★★★ ()

Наверное тебе всё-таки проще купить таки 2Тб SSD и отдельно 4Тб диск (или уже имеющиеся) для бэкапов. По деньгам всё-равно на уровне raid с кучей дисков, зато никакой возни ни с чем и реально быстро.

anonymous_incognito ★★★★★ ()
Последнее исправление: anonymous_incognito (всего исправлений: 1)
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.