LINUX.ORG.RU
ФорумAdmin

ZFS: zvol - размер блока. Поделитесь опытом плиз...

 


1

3

Суть вопроса в следующем: zvol можно создавать с размерами блока от 512 байт до 128 кБайт (по дефаулту 8 кБайт). В интернетах пишут, что для увеличения быстродействия «на некоторых типах нагрузок» целесообразно размер блока увеличить до 128к. На больших блоках действительно работает шустрее.

Но, если по статистике у меня получается что средний размер блока 32 или 64к, не облегчит-ли жизнь zvol-у установка именно таких блоков при создании тома (за счет уменьшения «оверхеда»)?

Оно-то можно поэкспериментировать, но поскольку размер блока устанавливается только при создании тома, это связано с переливанием достаточно больших объемов данных, что затратно по времени....

Может есть у кого опыт? Поделитесь плиз...

Всё зависит от типа нагрузки. В кратце, больший размер блока - больше mbps(sequential), меньший - больше iops(random).

EvgGad_303 ★★★★★
()
Последнее исправление: EvgGad_303 (всего исправлений: 1)
Ответ на: комментарий от EvgGad_303

Я вижу только средний размер блока....чем отследить преимущественный характер нагрузки я не знаю (облазил весь /proc и /sys - не нашел даже статистики распределения запросов по размеру блока)....Хотя, если учесть что это MSSQL, то с большой степенью вероятности можно предположить что нагрузка таки «рандомная» и размер блока целесообразно уменьшить?

Sigizmund
() автор топика
Ответ на: комментарий от Sigizmund

Под базы надо выставлять в соответствии с размером блока самой базы и отдельно под redo, archive и прочие, если надо, с блоком 128к или 1м. Как-то так выглядит стандартная практика.

EvgGad_303 ★★★★★
()
Ответ на: комментарий от EvgGad_303

ОК! Пасиб!

Подергаю нашего «базовика».....а то кроме «сделай мне хорошо» я от него пока больше ничего не добился... :)

Sigizmund
() автор топика

Для увеличения быстродействия целесообразно с ZVOL использовать XFS/ext4. Про надежность такого решения ничего не скажу, я и в надежности ZFSonLinux сильно сомневаюсь, хотя если это не линукс, то почему бы и да.

chaos_dremel ★★
()
Ответ на: комментарий от Sigizmund

Я правильно понял, что речь идёт про ashift?

Вообще, классические СУБД, рассчитаны на работу с НЖМД, и в целом максимально оптимизируют свой обмен данными с HDD. Я в этом вообще нуб (тут меня все знают :-D ), но, я бы попробовал: сделать размер блока, равным размеру сектора накопителя (zol по-умолчанию так и делает собственно). А для чтения, я бы поставил L2ARC. Соот-но iops на запись ощутимо должны подняться после разогрева ARC+L2ARC. Я думаю, что этого должно хватить любой инсталляции Zol + СУБД. Ибо, не поверю я, что супер серьёзный enterprise, будет что-то на Zol творить. Так что...

Кстати, а какой профит от zfs в вашем случае? Если это какой-нибудь mysql, то он может master+slave работать - это если для backup... А больше я особо не вижу профита в zfs.

DALDON ★★★★★
()
Последнее исправление: DALDON (всего исправлений: 4)
Ответ на: комментарий от Sigizmund

Ух... Боженька. Откуда у тебя на zfs, возьмётся MSSQL? У тебя там виртуализация будет чтоль? Тогда, ИМХО: ставь побольше памяти, делай L2ARC, остальное всё оставь по-умолчанию. MSSQL, весьма экономно в целом работает с HDD, в плане записи и чтения.

DALDON ★★★★★
()
Ответ на: комментарий от DALDON

Я правильно понял, что речь идёт про ashift?

Нет, речь идет о volblocksize

я бы поставил L2ARC.

стоит, и журнал на SSD

Я думаю, что этого должно хватить любой инсталляции Zol + СУБД.

оно-то хватает, пока, но...меня смутило, что по статистике с zpool-а читается в разы больше, чем со всех zvol-ов (=LUN-ов) вместе взятых...пришел к выводу, что это из-за оверхеда из-за большего чем нужно размера блока...а зачем лишнюю(=бесполезную) работу делать? + оно и на iops-ах сказывается...

Кстати, а какой профит от zfs в вашем случае?

на коленке склепанная SAN с нормальным кешем на SSD до этого пробовал md-raid+LVM+flashcache - не понравилось...

Если это какой-нибудь mysql,

эта железка раздает LUN-ы для разных задач...

Sigizmund
() автор топика
Ответ на: комментарий от EvgGad_303

Да я думаю, что ТС хочет какой-нибудь 1С крутить. Профита от перевода БД с НЖМД на SSD, небольшой в 1С, ибо MSSQL, довольно оптимально и так читает всё что нужно.

DALDON ★★★★★
()
Ответ на: комментарий от DALDON

MSSQL, весьма экономно в целом работает с HDD, в плане записи и чтения.

Это смотря как софт написан...ага...

Sigizmund
() автор топика
Ответ на: комментарий от Sigizmund

Ок. В общем я нуб. :) Дикий нуб. Я очень долго надеялся в своё время, что перевод MSSQL БД для 1С, даст дикий прирост производительности, оказалось, что реального профита - совсем не много, в пределах 10 процентов (судя по времени генерации отчётов 1С), при этом утилизация CPU не возрасла. По сему, вот и удивился, зачем оно может понадобится на zfs. Смотрел различные форумы, и пришёл к выводу, что, да, сильно зависит всё от приложения, и 1С - это не тот случай, где существенно поможет SSD.

Мне больше нечего сказать, подпишусь, почитаю.

DALDON ★★★★★
()
Ответ на: комментарий от EvgGad_303

в серваке FC контроллер и он видит LUN как SCSI-диск, который отформачен в NTFS...возможно MSSQL и RAW умеет, но тут я не копенгаген...БД другой чел занимается и я сомневаюсь что он захочет переходить на RAW (даже если оно возможно)...

ЗЫ: у нас и оракловые базы на NTFS лежат, если шо.... :)))

Sigizmund
() автор топика
Ответ на: комментарий от Sigizmund

который отформачен в NTFS

тут тоже не забудь тот же размер блока выставить, иначе все эти игрища коту под хвост.

возможно MSSQL и RAW умеет,

умеет, а над ораклом-то зачем так издеваться? )

EvgGad_303 ★★★★★
()
Последнее исправление: EvgGad_303 (всего исправлений: 1)
Ответ на: комментарий от DALDON

много написал, потом удалил.... :))) ато еще забанят или тапками закидают... :)))

но реальность у нас такая...приходится выживать...

Sigizmund
() автор топика
Ответ на: комментарий от EvgGad_303

а над ораклом-то зачем так издеваться? )

1. от бедности :) 2. так было сделано изначально внедренцами, а когда сами поумнели - много телодвижений чтоб переделать...

Sigizmund
() автор топика
Ответ на: комментарий от Sigizmund

тогда и на zvol recordsize 64к ставь. а вообще, если ещё и фс используется, то во всей цепочке размеры блока должны совпадать.

EvgGad_303 ★★★★★
()
Ответ на: комментарий от EvgGad_303

в плане?

чтоб объяснить, нужно нетехнические ньюансы расписывать...а на паблик-форуме этого делать не хотелось-бы... ;)

это у вас dba видать такой

возможно...

Sigizmund
() автор топика
Ответ на: комментарий от Sigizmund

1. от бедности :)

Да я так смотрю, у тебя не плохое железо вроде. Я просто думаю, может тебе что-то более нативное впилить, нежели zol. Ну там какой-нибудь открытый солярис, к примеру... Сейчас темку создам про zfs, твоя тема мне очень интересно сделала... Я просто тоже нищеброд. И хочу zol в «продакшене»... Кручусь уже год, но на не mission critical. Хочу крутить что-то посерьёзнее.

DALDON ★★★★★
()
Ответ на: комментарий от DALDON

Я просто думаю, может тебе что-то более нативное впилить, нежели zol. Ну там какой-нибудь открытый солярис, к примеру...

к сожалению я солярку не знаю..... :(

понимаешь, можно иметь кучку неплохого железа, но имея в этой кучке «гадкого утенка» теряется весь профит от неплохого...

по большому счету нам нужна энтерпрайзовская СХД, но чтоб ее заиметь - нужны, по нашим меркам, немерянные деньги...вот и приходится «лепить из дерьма конфетку»...иногда вродь получается...но иногда :)

Sigizmund
() автор топика
Ответ на: комментарий от Sigizmund

ну тут или выровнять zvol по фс, если dba не хочет ничего делать, или отдать raw под базу и выставить recordsize под db_block_size, ну или запилить нтфс с таким же блоком и перелить базу на новую фс(только зачем?).

EvgGad_303 ★★★★★
()
Ответ на: комментарий от EvgGad_303

если можно, немного оффтопный вопрос, как к человеку «шарящему» в ZFS:

можешь объяснить «на пальцах» физический смысл reservation/refreservation (zvol)? а то, ввиду незнания английского, пытался читать русскоязычную доку на оракле, так там текст похожий на лицензионное соглашение мелкософта :)) пока дочитаешь до конца предложения - забываешь с чего все началось (с эл. переводчиками ситуация ненамного лучше)...

оно влияет только на квоты выделяемого пространства или выделяет физическое место в пуле (напр. чтоб головки дисков меньше елозили)?

Sigizmund
() автор топика
Ответ на: комментарий от Sigizmund

физический смысл reservation/refreservation (zvol)

гарантия необходимого места в пуле для датасета с этим параметром. reservation - для датасета и его потомков, refreservation - только для конкретного датасета. реально ничего не выделяет, только для других датасетов зарезервированный объём не будет доступен.

EvgGad_303 ★★★★★
()
Последнее исправление: EvgGad_303 (всего исправлений: 1)
Ответ на: комментарий от Sigizmund

Ну так сразу в первом посту писать надо что у вас MS поделие, а не где-то в комментах.

chaos_dremel ★★
()
Ответ на: комментарий от Sigizmund

по большому счету нам нужна энтерпрайзовская СХД, но чтоб ее заиметь - нужны, по нашим меркам, немерянные деньги..

Аналогичная фигня... Очень много сейчас стоит софт. Платим за всякие лицензии, и уже денег допроситься на нормальную СХД + виртуализацию - не получается. 40-50 виртуалок, не столь большой объём, для столь капитальных затрат.

DALDON ★★★★★
()
Ответ на: комментарий от Sigizmund

по большому счету нам нужна энтерпрайзовская СХД

не нужна, максимум мидренж какой из начальных, а то и msa хватит, если всё это сейчас на самопале крутится.

EvgGad_303 ★★★★★
()
Последнее исправление: EvgGad_303 (всего исправлений: 1)
Ответ на: комментарий от EvgGad_303

Ну есть у нас FAS2020, пишут что «Mid-sized Enterprises (MSE), remote or branch offices (ROBO), and departments of large enterprises»...и еще один еще более старый массив от SUN...сановский (из брендовых) чуть пошустрее, но с манипуляцией пространством там полная «ж» и производительности явно не хватает, у «нетаповского» с манипуляцией все ОК! (кстати, по возможностям оччень похоже что там внутри ZFS :) ), но с производительностью еще хуже....и к организации дискового пр-ва есть вопросы.....

Наш самопал в разы «делает» оба бренда (на SATA дисках) как по секвенталу, таки и по рандому (на разогретом кеше естественно ;) ), так и по пространству, так и по стоимости....

Теперь наш самопал «дробит» брендовое пространство LVM-ом для задач не требующих особой производительности и держит ZFS собранный на JBOD-е...

Sigizmund
() автор топика

почитайте вот здесь много полезного относительно zfs и настроек ее производительности - http://forum.ixbt.com/post.cgi?id=print:11:44215

zvol можно создавать с размерами блока от 512 байт до 128 кБайт

если полазить по указанному выше форуму, то можно найти рекомендации по выбору размера блока для томов zvol, причем насколько я помню размер блока там советуют выставлять в зависимости от числа страйпов в пуле, если одиночный страйп, то да рекомендуют 128к, если это raid10 двойной страйп тогда 64k.

Также в большой степени на производительность zfs влияет опция sync, но от нее также зависит надежность хранения данных, об этом опять же можно прочитать тут - http://forum.ixbt.com/topic.cgi?id=66:2176:2906#2906

axelroot
()
Ответ на: комментарий от Sigizmund

Ну есть у нас FAS2020
еще более старый массив от SUN
Наш самопал в разы «делает» оба бренда

Ну ты бы хоть год выпуска посмотрел штоле, fas2020 - это начальная модель в линейке мидрэнж на 2007 год, АДЫН гб кэша и 4гб порты.
А ынтырпрайз новый, например, хитачи даёт 4M iops random read при 100% cache miss и стоит как частный самолёт, оно тебе точно надо? )

EvgGad_303 ★★★★★
()
Последнее исправление: EvgGad_303 (всего исправлений: 1)
Ответ на: комментарий от EvgGad_303

Ну ты бы хоть год выпуска посмотрел штоле, fas2020 - это начальная модель в линейке мидрэнж на 2007 год, АДЫН гб кэша и 4гб порты.

ну не каждый-же год стореджи покупать? :)))

А ынтырпрайз новый, например, хитачи даёт 4M iops random read при 100% cache miss и стоит как частный самолёт, оно тебе точно надо? )

дык и ынтырпрайз-ы начального уровня бывают...и вааще...уже и помечтать низзя... :)

Sigizmund
() автор топика
Ответ на: комментарий от Sigizmund

ну не каждый-же год стореджи покупать? :)))

обычно 3-5 лет, но если фирма не растёт, то и покупать ничего не надо :)

EvgGad_303 ★★★★★
()
Ответ на: комментарий от EvgGad_303

если фирма не растёт, то и покупать ничего не надо :)

фирма не растёт, но объемы данных растут

Sigizmund
() автор топика
Ответ на: комментарий от EvgGad_303

А ынтырпрайз новый, например, хитачи даёт 4M iops random read при 100% cache miss и стоит как частный самолёт, оно тебе точно надо? )

а можно ссылочку? А то по SPC-1 гораздо более скромные показатели - 2 ляма при специфичной разбивке (очень дорого для всего 30тб usable), а с учетом гораздо более дорогого прайса HDS в россии оно будет стоит как парочка самолетов с шлюхами и бухлом

user_undefined
()
5 января 2017 г.
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.