LINUX.ORG.RU

Re: LVM2 stripe & mirror vs. RAID-10.

нет

sdio ★★★★★
()

Re: LVM2 stripe & mirror vs. RAID-10.

Это уже LVM + SoftwareRAID.

ИМХО, и то, и другое существенно тормозят дисковую подсистему

router ★★★★★
()
Ответ на: Re: LVM2 stripe & mirror vs. RAID-10. от sdio

Re: LVM2 stripe & mirror vs. RAID-10.

Не измерял. Скорость та же, но задержка выше и заметна на глаз. Опять же, ИМХО, т.к. не измерял.

router ★★★★★
()

Re: LVM2 stripe & mirror vs. RAID-10.

с этим обстоит жопа, striped mirrors есть в роадмапе. пока я видел реализацию raid10 средствами LVM только в AIX.

borisych ★★★★★
()

Re: LVM2 stripe & mirror vs. RAID-10.

Теоретически можно создать pv поверх LVM, но практически это может потребовать переписать initramfs.

INFOMAN ★★★★★
()
Ответ на: Re: LVM2 stripe & mirror vs. RAID-10. от router

Тормозные страйпы.

>Это уже LVM + SoftwareRAID.

>ИМХО, и то, и другое существенно тормозят дисковую подсистему

RAID-0 тормозит дисковую систему шо пэстец. Ню-ню.

Camel ★★★★★
()
Ответ на: Тормозные страйпы. от Camel

Re: Тормозные страйпы.

Не передёргивай слова. Програмный RAID 0 будет тормозить по сравнению с аппаратным RAID 0, и только. Любой дополнительный программный уровень абстракции - дополнительные тормоза

router ★★★★★
()
Ответ на: Re: Тормозные страйпы. от router

Богопротивное железо.

>Програмный RAID 0 будет тормозить по сравнению с аппаратным RAID 0, и только. Любой дополнительный программный уровень абстракции - дополнительные тормоза

На помойку ваши богопротивные hardware RAID-контроллеры, от них только несовместимости и головная боль. Сильное торможение software RAID -- миф.

Camel ★★★★★
()
Ответ на: Богопротивное железо. от Camel

Re: Богопротивное железо.

>На помойку ваши богопротивные hardware RAID-контроллеры, от них только несовместимости и головная боль. Сильное торможение software RAID -- миф.

ага, попробовал тут соорудить страйп поверх зеркал (собственно топик), под нагрузкой sys ниже 30% не опускается :)

borisych ★★★★★
()
Ответ на: Re: Богопротивное железо. от borisych

Re: Богопротивное железо.

Какой проц? У меня на кваде LVM поверх RAID5 ни фига не медленный, и нагрузка от него практически незаметна. До этого та же система крутилась на Celeron 2200, пока мать не сдохла.

INFOMAN ★★★★★
()
Ответ на: Re: Богопротивное железо. от borisych

объяснение в студию.

>я сделал ровно так как в топике: 2 зеркала средствами LVM, поверх них страйп средствами LVM

Начну с того в что в топике ничего такого нет, вопрос о зеркалировании и страйпировании (логопеды, поправьте) силами LVM2.

И как трактовать sys в 30 %? Может у вас железо какое-то "волшебное"? У меня ничего подобного не наблюдается.

Camel ★★★★★
()
Ответ на: объяснение в студию. от Camel

Re: объяснение в студию.

>Начну с того в что в топике ничего такого нет, вопрос о зеркалировании и страйпировании (логопеды, поправьте) силами LVM2.

толи вы вопросы задавать не умеете, толи здесь никто читать не умеет:

>Может ли, например, LVM2 и страйпить, и зеркалить, как в RAID-10?

raid10 - логически предстваляет собой страйп зеркал, raid01 - логически представляет собой зекало страйпов, и хотя вроде бы разницы между ними с первого взляда и не видно, но они отличаются: у raid10 FT выше. Линуксовый LVM сейчас умеет делать только либо страйп, либо зеркало, либо linear (хз как переводится), но в роадмапе поддержка raid10 заявлена. INFOMAN, заявил, что пожно поверх LV сделать PV а потом опять LV и тем самым получить RAID10 или RAID01 (зависит от последовательности действий), но при этом получается здоровенная такая нагрузка. Обсуждать какое у меня железа смысла не имеет, потому что нагрузка возникает так или иначе вне зависимости от частоты процессора и скорости дисков, просто потому что она возникает и возникает очевидно из-за чего.

Для справки: в AIX LVM умеет делать raid10, в солярисе (там правда не lvm, а подругому зовется), есть возможность делать raid01

borisych ★★★★★
()
Ответ на: Re: объяснение в студию. от borisych

Re: объяснение в студию.

>... можно поверх LV сделать PV а потом опять LV и тем самым получить RAID10 или RAID01 ..., но при этом получается здоровенная такая нагрузка.

Можно и Саныча дверью прищемить.

>Обсуждать какое у меня железа смысла не имеет

Отчего же?
Было 4 диска? Ты распределил по PV все как полагается?
Или ты на одном диске "пробЫвал"?

sdio ★★★★★
()
Ответ на: Не те буквы. от Camel

Re: Не те буквы.

> Всё же sys, что это за нагрузка?

это время, потраченное процом в контексте ядра.

У мну софтворные рейды работают отлично что на фряхе что на линухе. Правда, главным образом raid1. Каких-либо существенных потреблений ресурсов при тестировании не заметил.

Даже рейд-5 есть на 8 хардов. Вот он может sys нагнать 30-40% при потоковой записи мегов под 90 в секунду на раздел. Но, при современных многоядерных процах мне на это наплевать :). Проще проц помощнее купить чем ещё одну железку баксов под 800добавлять.

true_admin ★★★★★
()
Ответ на: Re: Не те буквы. от true_admin

Re: Не те буквы.

>Проще проц помощнее купить чем ещё одну железку баксов под 800добавлять.

у вас наверное и сетевухи без tcp offload, и об ssl ничего не слышали

borisych ★★★★★
()
Ответ на: Те буквы. от Camel

Re: Те буквы.

существую карты которые SSL offload поддерживают, вполне так спасают сервер от использования cisco ace и прочих альтеонов

borisych ★★★★★
()
Ответ на: Re: Не те буквы. от borisych

Re: Не те буквы.

> у вас наверное и сетевухи без tcp offload, и об ssl ничего не слышали

Когда нечего сказать по теме некоторые люди начинают меряться железками/зарплатами/длиной/whatever. Ты не знал что в линухе tcp offload не встречается кроме пары фишек типа TSO/LRO? :).

true_admin ★★★★★
()
Ответ на: Re: Те буквы. от borisych

Re: Те буквы.

> существую карты которые SSL offload поддерживаю

и ты их, конечно же, купил такую на савёловском рынке, вставил в свой просторный midtower, поставил дрова на свою любимую ОС и всё теперь со свистом работает? :)

true_admin ★★★★★
()
Ответ на: Re: Те буквы. от true_admin

Re: Те буквы.

я не Ъ и на савеловском комплектуху увы не беру, все больше с HP/IBM приходится работать.

если вы считаете что софт-рейд нагружает процессор несильно, считайте, вас никто заставлять не будет, только вот реальные задачи требуют, чтобы побочные факторы в виде непонятно откуда взявшихся нагрузок не возникали, так что сидите в своей песочнице с процессором от АМД за 1000р/гигагерц и не лезьте куда не следует.

borisych ★★★★★
()
Ответ на: Re: Те буквы. от borisych

Re: Те буквы.

> все больше с HP/IBM приходится работать.

И мне приходится, какое совпадение :). Правда, с x86-серверами и глючат они не меньше чем другие серваки. Например, деловский PowerEdge Expandable RAID при холодном старте на одном сервере не все винты находит :).

> если вы считаете

я не просто считаю, я ещё провожу бенчмарки и нагрузочное тестирование. И знаю сколько процентов каких ресурсов какая подсистема хавает. А ты просто пересказываешь распространённые байки не утруждая себя доказательствами.

> реальные задачи требуют

Т.е. все у кого x86 сервера ты причисляешь к детям которые сидят в своей песочнице? Это пять. Гугл об этом знает? :)

> сидите в своей песочнице с процессором от АМД за 1000р/гигагерц

Тут ты правильно подметил, один и тот же результат можно получить за разные деньги.

PS это не у тебя были проблемы с установкой питона на свои Ъ-серваки с аиксом? :)

PPS можешь не отвечать, я знаю что рассказывают сертифицированные aix-специалисты про решения не от ibm. Повидал таких на линукс-фесте в прошлом году.

true_admin ★★★★★
()
Ответ на: Re: Те буквы. от true_admin

Re: Те буквы.

>я не просто считаю, я ещё провожу бенчмарки и нагрузочное тестирование. И знаю сколько процентов каких ресурсов какая подсистема хавает. А ты просто пересказываешь распространённые байки не утруждая себя доказательствами.

результаты-то покажите или будете опрерировать абстрактным "я провожу"? вот человек провел и даже в lklm написал: http://home.comcast.net/~jpiszcz/20080607/raid-benchmarks-decimal-fix-and-rig...

>Т.е. все у кого x86 сервера ты причисляешь к детям которые сидят в своей песочнице? Это пять. Гугл об этом знает? :)

ну вы же сервера на "савеловском" покупаете :)

borisych ★★★★★
()
Ответ на: Re: Те буквы. от borisych

Re: Те буквы.

> результаты-то покажите или будете опрерировать абстрактным "я провожу"? вот человек провел и даже в lklm написал: http://home.comcast.net/~jpiszcz/20080607/raid-benchmarks-decimal-fix-and-rig.. .

И что мы здесь видим? Повышенное потребление процессора на raid-# относительно single disk?
Если посмотреть на "% CPU" относительно производительности "Block K/sec", то видно что они пропорциональны.

sdio ★★★★★
()
Ответ на: Re: Те буквы. от borisych

Re: Те буквы.

> результаты-то покажите или будете опрерировать абстрактным "я провожу"? 

Софтовый raid1 на старом пне:

Version 1.93c       ------Sequential Output------ --Sequential Input- --Random-
Concurrency   1     -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
lowcostserv      4G   459  98 68452  21 40356  11  1559  98 90835  12 304.3   7
Latency             19320us    1103ms    1056ms   15413us     100ms     892ms
Version 1.93c       ------Sequential Create------ --------Random Create--------
lowcostserv         -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16 21063  38 +++++ +++ 23649  28 29080  52 +++++ +++ +++++ +++
Latency             14403us     247us     269us     392us      74us     230us
1.93c,1.93c,messir.net,1,1219724848,4G,,459,98,68452,21,40356,11,1559,98,90835,
12,304.3,7,16,,,,,21063,38,+++++,+++,23649,28,29080,52,+++++,+++,+++++,+++,19320
us,1103ms,1056ms,15413us,100ms,892ms,14403us,247us,269us,392us,74us,230us


> ну вы же сервера на "савеловском" покупаете :)

кто "мы"? :). Я закупками не занимаюсь, я настройкой занимаюсь. И у меня нет предрассудков
по поводу происхождения сервера, лишь бы работал нормально.

true_admin ★★★★★
()
Ответ на: Re: Те буквы. от true_admin

Re: Те буквы.

забыл сказать, сервер был под некоторой нагрузкой и поэтому результаты бенчмарка приблизительные.

true_admin ★★★★★
()
Ответ на: Re: Те буквы. от borisych

Re: Те буквы.

По поводу нагрузки могу сказать что всё зависит отконтроллера. Пытался вот до апгрейда соорудить софтрейд на 2-х сата контроллерах - если два винчестера на одном контроллере, софтрейд - загрузка 10% при линейном чтении, но стареньком AMD 1500Мгц, два по одному на контроллере - загрузка под 50%, здоровый latency, о четырех забыл сразу. так что всё от не-РЕЙД контроллера зависит. Что такое рейд? 1-ый например? это прочитать оттуда и оттуда парраллельно и отдать приложению. При идеальной организации драйвера, дополнительных действий больще не надо - сделал буфер читаешь себе туда, отдаешь указачтель на начало. А что будет отдавать аппаратный контроллер? Да тот-же поток. Вывод аппаратный контроллер имеет смыл только для raid5, raid6 где что-то надо считать, и то там особой пользы от него нету на современных процессорах.

Так что не гоните на софтрейд, проблема может быть только в контроллере.

gena2x ★★★
()
Ответ на: Re: Те буквы. от true_admin

Re: Те буквы.

это не тест, в нем методики тестирования, проверки повторяемости результатов, графиков, выводов. или вы в институте не учились?

borisych ★★★★★
()
Ответ на: Re: Те буквы. от gena2x

Re: Те буквы.

>Пытался вот до апгрейда соорудить софтрейд на 2-х сата контроллерах - если два винчестера на одном контроллере, софтрейд - загрузка 10% при линейном чтении, но стареньком AMD 1500Мгц, два по одному на контроллере - загрузка под 50%, здоровый latency

тут вы в скорость PCI уткнулись.

>При идеальной организации драйвера, дополнительных действий больще не надо - сделал буфер читаешь себе туда, отдаешь указачтель на начало. А что будет отдавать аппаратный контроллер? Да тот-же поток. Вывод аппаратный контроллер имеет смыл только для raid5, raid6 где что-то надо считать, и то там особой пользы от него нету на современных процессорах.

основная задача raid-контроллера - вынести ненужную нагрузку с процессора, памяти и PCI. если у вас на одном сервере крутится почта, какой-нить апач, самба, фтп, база то вам может быть и пофиг что у вас там тормозит, потому что тормозит все, в моих же задачах: один сервер - один сервис, и всякие приколы типо сфотового рейда мне не нужны.

borisych ★★★★★
()
Ответ на: Re: Те буквы. от borisych

Re: Те буквы.

> основная задача raid-контроллера - вынести ненужную нагрузку с процессора, памяти и PCI. если у вас на одном сервере крутится почта, какой-нить апач, самба, фтп, база то вам может быть и пофиг что у вас там тормозит, потому что тормозит все, в моих же задачах: один сервер - один сервис, и всякие приколы типо сфотового рейда мне не нужны.

Походу, я слишком подробен. Софтрейд не тормозит ввиду того что допнагрузке взяться неоткуда - выполняются те же действия что и при обычном чтении с диска, ни больше ни меньше - для stripe, для mirror будет допнагрузка на PCI, для рейд5 - на pci(небольшая) и на CPU.

gena2x ★★★
()
Ответ на: Re: Те буквы. от gena2x

Re: Те буквы.

>для mirror будет допнагрузка на PCI,

Двойная, да?

> для рейд5 - на pci(небольшая)

Небольшая? (100 / N)%, для N дисков

sdio ★★★★★
()
Ответ на: Re: Те буквы. от sdio

Re: Те буквы.

> Двойная, да?

Только при записи.

> Небольшая? (100 / N)%, для N дисков

эээ, неправильная формула - 100 / (N - 1)%, в первом приближении.

Ну, в рейд5 собирать меньше 4 дисков смысла нет, а +33% - весьма приемлимо. Там правда есть ещё проблемы с маленькими порциями данных, поэтому говорю, что для 5-го как раз контроллер полезен.

Только не нужно забывать что это +33%

Но stripe - таки наше всё! ;)

gena2x ★★★
()
Ответ на: Re: Те буквы. от borisych

Re: Те буквы.

borisych, без графиков и выводов ничего сам понять не в состоянии. Даже зайти на сайт проекта и посмтреть методику измерения не смог. Погрешность измерения понятна из методики измерения. Не намерен больше тебя учить. Не подкалывай про образования, ты как бы не сильно красишь свой институт, есть выпускники получше.

sdio, внешний контроллер тоже будет хавать полосу шины между мостами как и отдельные диски. Другое дело, что в серверах рейд может быть на отдельной шине.

true_admin ★★★★★
()
Ответ на: Re: Те буквы. от true_admin

Re: Те буквы.

>borisych, без графиков и выводов ничего сам понять не в состоянии. Даже зайти на сайт проекта и посмтреть методику измерения не смог. Погрешность измерения понятна из методики измерения. Не намерен больше тебя учить. Не подкалывай про образования, ты как бы не сильно красишь свой институт, есть выпускники получше.

что вы меряли-то? скорость записи? скорость чтения? латентность? иопсы? скорость файловой системы? у пефоманс тестов слишком много степеней свободы чтобы можно было весь результат тестирования описать плохосформатированной таблицей.

borisych ★★★★★
()
Ответ на: Re: Те буквы. от borisych

Re: Те буквы.

Это к тому, что "железное" решение не всегда однозначно лучше софтового, хотя по логике должно быть _всегда_.

sdio ★★★★★
()
Ответ на: Re: Те буквы. от borisych

Re: Те буквы.

> что вы меряли-то? скорость записи? скорость чтения? латентность? иопсы? скорость файловой системы?

Названия полей Sequential Output, Sequential Input, Random seeks должны наталкивать на мысли что эта штука делает.

Естественно, нагрузочного тестирования на конкретной системе с конкретными настройками ничто не заменит. Поэтому, по большому счёту, всё что тут обсуждается, пустой трёп. Но, исходя из скорости работы софтварного рейда, потребляемым им ресурсам, прогнаным бенчмаркам, врождённых недостатков рейда, опыта в эксплуатации на большом кол-ве серверов итп ясно видно что подавляющее большинство задач им покрываются.

Я вообще стараюсь проектировать системы так чтобы дисковое io не было узким местом в системе. Зачастую, можно воткнуть 8-16 гигов в сервер и диски будут простаивать(пока не начнут делаться бэкапы или когда кэш не "прогрелся"). Когда это невозможно, когда предъявляются большие требования к скорости работы дисков(большая сетевая шара, большие и нагруженные rdbms, и всё такое) и латентности операций, или есть другие причины, тогда время брать железный рейд. А не тогда когда пришёл borisych и сказал всем переходить на чпукс потому что когда он поставил линух у него "непонятно откуда взявшихся нагрузок" появились.

true_admin ★★★★★
()
Ответ на: Re: Те буквы. от true_admin

Re: Те буквы.

>Названия полей Sequential Output, Sequential Input, Random seeks должны наталкивать на мысли что эта штука делает.

методику опишите, названия полей и цифры в них без методики мне ни о чем не говорит

borisych ★★★★★
()
Ответ на: Re: Те буквы. от borisych

Re: Те буквы.

>методику опишите, названия полей и цифры в них без методики мне ни о чем не говорит

borisych, чего привязался, ты разве не такой же тест привел
http://home.comcast.net/%7Ejpiszcz/20080607/raid-benchmarks-decimal-fix-and-rig ?

sdio ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
Admin