Выбор хародов и SSD

Текущий вариант:
2 x 2.5" Seagate «BarraCuda ST2000LM015», 5400об./мин., 128МБ
1 x Transcend MTE850 128 Гб TS128GMTE850

Сигейты эти меня дико стремают, но остальные 2.5" какие-то совсем уж дорогие. К тому же их будет всё-таки два в рэйде (не думаю что помрут совсем одновременно), брать буду в приличном магазине, так-что скорее всего получится поменять по гарантии (правда её всего два года), ну и 2.5" кажется все весьма тихие.

P.S. для SSD на сколько важна вменяемость магазина? Хардами-то в магазинах могут и в футбол поиграть, так-что в стрёмных лавках их брать стрёмно. А с SSD как дела обстоят? Стоит-ли брать дороже в менее стрёмном магазе?

P.P.S. в характеристиках хардов заявлен уровень шума 2.2/2.4. Круто! Только заявлен он в белах, а не децибелах. Гении маркетинга, блин

(не думаю что помрут совсем одновременно), брать буду в приличном магазине

Возьми в разных магазинах, хотя бы, раз ты заботишься об отказах. А лучше, разные модели (с примерными характеристиками). Объясняю: представь, в этом магазине грузчик Вася уже уронил палету с товаром, в том числе, и с твоими дисками. Не сильно так уронил, только парочка коробок с корпусами помялись. Но на дисках остался незначительный дефект, так, тьфу. Но приведет это к тому, что оба диска в рейде-1 откажут синхронно. Страшно? Мне да. Это очень вероятно.

Страшно?

Да, но маловероятно. Я про синхронный отказ из-за механического повреждения. Не, я лучше возьму в одном, но заведомо вменяемом магазине

RAID1 даст надёжность (бекапы это хорошо, но бекапить все 2 Тб не получится, а терять данные я очень не люблю)

Лучше придумай что-нибудь, чтобы исправить «бекапить все 2 Тб не получится», потому что RAID бекапу не замена

RAID1 + SSD cache

writethrough или writearound?

скорость будет годной

тебя скорость записи вообще не волнует?

Может посоветуете чего получше?

Да легко. ОС на SSD, read-only данные на 1x HDD + маленький раздел под writeback bcache на SSD, на оставшиеся деньги... не знаю, купи хард с USB, бэкапься на него вручную и храни в другом месте.

потому-что это самый дешёвый SSD с M2... SATA SSD, как я понял, бывают какими угодно в плане надёжности и скорости, вплоть до просто-флешка-с-sata.

Вплоть до большей части SSD с M.2.

А синхронный отказ из-за штатного синхронного износа? Если решишься на RAID, то бери в разных, вменяемых магазинов много.

Кстати, bcachefs уже упоминали?

bcachefs

Кстати, припоминаю, было еще кеширование средствами LVM, вроде, основанное на dm-cache

writethrough или writearound?

Скорее всего write-through. Хотя в идеале хотелось-бы для разных данных (разделов) использовать разные стратегии. Кое что и потерять не особо жалко

тебя скорость записи вообще не волнует?

В общем да. Лишь-бы эта запись не ставила колом чтение (и за одно всю систему)

купи хард с USB, бэкапься на него вручную и храни в другом месте.

Я для себя давно решил что ручных бэкапов не бывает. Сохранность данных не должна зависеть от моей лени или забывчивости. Да и не для того люди создали компы что-бы бегать за ними и подтирать сопли

это альтернатива bcache, а не bcachefs

и их много было

Ну придумай на эту сумму что-нибудь неручное. Твой план правда фигня.

А с SSD как дела обстоят? Стоит-ли брать дороже в менее стрёмном магазе?

По ssd ничего не скажу, кроме того, что слышал здесь, на лоре, что якобы на надёжные ssd дают 5 лет гарантии.

Сохранность данных не должна зависеть от моей лени или забывчивости.

cron?

Так я по крону и бекаплю. Но тут почему-то все считают что бекапы и raid1 это взаимоисключающие, а не взаимодополняющие явления

а с чего вы решили, что кеш разикально поднимет скорость? потому что иксперты в какой-то мурзилке так предположили, позабыв о том что кеш не резиновый и как только он засрется весь «прирост» сойдет на нет?

тут почему-то все считают что бекапы и raid1 это взаимоисключающие, а не взаимодополняющие явления

Тут всё зависит от приоритетов. Если приоритетна дешевизна, то 3-х кратная избыточность (raid1+бэкап) - действительно перебор. Если же надёжность, то тут потолка нет. Когда-то я читал рекомендацию держать компы и бэкапы в разных зданиях, чтобы в случае пожара/стихийного бедствия данные не пропали. В качестве примера приводили директора небольшой фирмочки, который каждую пятницу уносил бэкапы домой (ведь вероятность одновременного пожара и в офисе, и дома намного меньше, чем только в офисе).

а с чего вы решили, что кеш разикально поднимет скорость?

Я ничего не решил. Я просто сказал, что если рэйд работает медленно, то можно копнуть в сторону более производительного контроллера и/или большего кэша. На что вы ответили, что пробовали 100500 контроллеров, в т. ч.

lsi 3042

Потом, правда, оказалось, что речь идёт исключительно о софтрейде:

какой кеш контроллера в софтрэйде

Так что теперь я уже не знаю, что и думать: взаимоисключающие параграфы.

иксперты в какой-то мурзилке так предположили, позабыв о том что кеш не резиновый и как только он засрется весь «прирост» сойдет на нет?

Я просто дал ссылку на реальные тесты. Если вы не доверяете икспертам из «Тим Компьютерс», посмотрите другие тесты и обзоры. Например, http://www.ixbt.com/storage/lsi-sas9260-8i.shtml :

Среднее время случайного доступа к данным при чтении на единичном диске Hitachi Ultrastar 15K600 HUS156030VLS600 составляет 5,5 мс. Однако при организации их в массивы этот показатель немного меняется: уменьшается (благодаря эффективному кешированию в контроллере LSI SAS9260) для «зеркальных» массивов и увеличивается — для всех остальных. Наибольший рост (примерно на 6%) наблюдается для массивов уровня 6, поскольку при этом контроллеру приходится одновременно обращаться к наибольшему числу дисков (к трем для RAID 6, к двум — для RAID 5 и к одному для RAID 0, поскольку обращение в этом тесте происходит блоками размером всего 512 байт, что существенно меньше размера блоков чередования массивов).

Гораздо интереснее ситуация со случайным доступом к массивам при записи (блоками по 512 байт). Для единичного диска этот параметр равен около 2,9 мс (без кеширования в хост-контроллере), однако в массивах на контроллере LSI SAS9260 мы наблюдаем существенное уменьшение этого показателя — благодаря хорошему кешированию записи в SDRAM-буфере контроллера объемом 512 Мбайт. Интересно, что наиболее кардинальный эффект получается для массивов RAID 0 (время случайного доступа при записи падает почти на порядок по сравнению с одиночным накопителем)! Это несомненно должно благотворно отразиться на быстродействии таких массивов в ряде серверных задач. В то же время, и на массивах с XOR-вычислениями (то есть высокой нагрузкой на процессор SAS2108) случайные обращения на записи не приводят к явному проседанию быстродействия — снова благодаря мощному кешу контроллера. Закнонмерно, что RAID 6 здесь чуть медленнее, чем RAID 5, однако разница между ними, по сути, несущественна. Несколько удивило в этом тесте поведение одиночного «зеркала», показавшего самый медленный случайный доступ при записи (возможно, это «фича» микрокода данного контроллера).

Ну и конечно, после чтения чужих обзоров желательно потестить самому на своей БД или что там у вас на этих рэйдах.

Естественно, если скорость и без того устраивает, то и дёргаться не стоит. Но тогда и не говорить, что

не будет выигрыша в скорости...

А сказать, что на моём софтрэйде без кэширования прироста скорости нет, но не обобщать.

Уже писал тут, кажется даже два раза: рэйд для всего, бэкапы (хранимые долго) для того что нужно.
Полный бекап изменяемой файлопомойки либо не позволит долго хранить старые версии, либо потребует ощутимо больше места чем занимает сама файлопомойка.
Бекап это скальпель, а не кувалда. Но иногда надо и кувалдой долбануть

Потом, правда, оказалось, что речь идёт исключительно о софтрейде

а софт-рэйд не рэйд?

Я просто дал ссылку на реальные тесты.

вы дали ссылку, в которой:

Этот «ненормальный» результат объясняется тем, что при тестировании был отключен кэш контроллера, вследствие чего контроллер не мог оптимизировать выполнение операций чтения и записи (чтение на операциях записи необходимо для вычисления четности). С включенным кэшем производительность RAID 5 из 24 дисков должна примерно соответствовать...

т.е. размышления в стиле «а если бы у бабушки был **й - она бы была дедушкой».

А сказать, что на моём софтрэйде без кэширования прироста скорости нет, но не обобщать.

у ТСа где-то хоть слово было о покупке аппаратного контроллера за много сотен баксов? :) и да, какой нахрен рэйд контроллер для десктопных WD, в которых TLER маркетолухи велели залочить нафиг (ну чтобы более дорогие wd red, абсолютно идентичные внутри, хоть как-то напаривать)?

либо не позволит долго хранить старые версии, либо потребует ощутимо больше места чем занимает сама файлопомойка.

Вот прочитал и подумал: а есть под Линукс какие-нибудь утилиты резервного копирования, позволяющие сохранять разные версии в diff'ах, а не целиком, чтоб самому не велосипедить? Погуглил и нашёл очень интересный список разных бэкап-программок на страничке https://habrahabr.ru/company/southbridge/blog/220555/ .

аппаратного контроллера за много сотен баксов?

Ну можно и за сотню, и даже за пол сотни баксов кое-что более-менее приличное найти, правда б/у. Например Adaptec RAID 3805 P RaidStorage/N: 2252200-R ASR-3805 128 МБ Кэш 8-портовый 3 ГБ/сек. PCIe Контроллер SAS Карты ($98 + $7.94 доставка) или Adaptec RAID 3405 P RaidStorage/N: 2251900-R ASR-3405 4-портовый 3 ГБ/сек. PCIe Контроллер SAS Карты ($58 + $7.94).

В этом-же треде уже вбрасывали Борга (сейчас как-раз тестирую, видимо буду использовать), rdiff-backup у меня сейчас работает.
Но обрати внимание на упоминание «изменяемой файлопомойки». Скачаю я десяток BD ремуксов, через неделю удалю (потому-что сделал с ними всё что хотел сделать), а в бекапе они будут висеть ещё чёрт знает сколько. А ведь я могу тут-же ещё десяток ремуксов скачать

Да, от ремуксов даже diff не спасёт. :-)

за много сотен баксов?

Ремкомплект межделмаша стоит гораздо дешевле и прошивается обратно в лысого.

да-да, и второй такой же на полку - на случай смерти первого. а еще - BBU докупить (иначе - при внезапном отключении питания, благодаря тому самому кешу записи, на выходе получите угробленную ФС). а уж каким сексом чревато рассыпание массива - думаю, и говорить не стоит :)

BBU докупить

Лучше и дешевле ИБП с mdraid, чем обновлять ЗИП к этому контроллеру с BBU.

ну то понятно, mdraid даже без ибп вполне себе надежен (хотя иногда, похоже, сами винты не успевают свой жирный кеш записи сбросить на блины).

хотя иногда, похоже, сами винты не успевают свой жирный кеш записи сбросить на блины

ОС об этом знает.

Uptime-ом винтов еще не мерялись? недавно попался под руку компьютер с ide и решил я подцепить туда два диска из зеркального массива с уже давно разбарахоленного сервера..

1

2

да-да, и второй такой же на полку - на случай смерти первого.

Ну, умереть может и новый девайс, хотя у б/у'шного вероятность внезапной смерти повышается. А уж про выход из строя новых хардов я и не говорю. Поэтому проблема существует в любом случае. Но если сгорит контроллер, то всегда можно заказать новый, а raid на это время сделать программным. Данные, по крайней мере, из-за этого не потеряются, в отличие от ситуации с выходом из строя hdd без raid'а.

а еще - BBU докупить

Как здесь уже говорили, можно купить ups. Он, конечно, тоже стоит денег, но для надёжного хранения данных нужен по-любому, независимо от наличия/отсутствия raid или его типа. И bbu его всё равно полностью не заменит.

Uptime-ом винтов еще не мерялись?

Да, и ты проиграл:
http://paste.ubuntu.com/25133300/

Но если сгорит контроллер, то всегда можно заказать новый, а raid на это время сделать программным.

ну-ну, и что же сможет тот же адаптековский рэйд программно собрать-то?

Данные, по крайней мере, из-за этого не потеряются, в отличие от ситуации с выходом из строя hdd без raid'а.

потеряется все, что не записалось из кеша тащемта. 256-512МБ. в основном это будут структуры ФС...

Как здесь уже говорили, можно купить ups.

да-да, и надеяться что упс не уйдет в защиту при броске входного напряжения (а у line-interactive упсов такое регулярно). или вы предлагаете онлайновый, баксов за 300?

у меня на каком-то тазике 92 тыс.часов на ископаемом wd было (из древних, еще не на марвелах). при кучке битых секторов. но сейчас тот тазик успешно снят, так что скопипастить не смогу.

Но если сгорит контроллер, то всегда можно заказать новый, а raid на это время сделать программным.

ну-ну, и что же сможет тот же адаптековский рэйд программно собрать-то?

А с каких пор рэйды стали адаптековскими, интеловскими и т. д.? Мне всегда казалось, что рэйды бывают 0, 1, ... А контроллер может поддерживать или не поддерживать тот или иной стандарт.

Данные, по крайней мере, из-за этого не потеряются, в отличие от ситуации с выходом из строя hdd без raid'а.

потеряется все, что не записалось из кеша тащемта. 256-512МБ. в основном это будут структуры ФС...

Ну, если сгорит во время записи, то да. Но обычно девайсы горят во время включения, когда записываться просто нечему. А так можно много разных вариантов придумать. Например, что если перетрётся какой-нить силовой провод в БП? Никакой ИБП тогда не спасёт. Да и масса других ситуаций может быть, не обязательно связанных с электричеством. А если кто-то положит рядом с рэйдом очень сильный магнит? А если кто-то снимет крышку и случайно выдернет питание дисков из материнки? А если пожар, наконец? Да и возможности выхода из строя нового гарантийного контроллера никто не отменял.

Как здесь уже говорили, можно купить ups.

да-да, и надеяться что упс не уйдет в защиту при броске входного напряжения (а у line-interactive упсов такое регулярно). или вы предлагаете онлайновый, баксов за 300?

Для дома с хорошей электросетью (сюда входит и подстанция, и автоматы, и сама проводка, и желательно заземление), думаю, будет достаточно резервного. Но если очень хочется онлайновый, то можно и его. Например, Huawei UPS2000-G-1KRTS за 14666 р., что по нынешнему курсу равно примерно $245, и это за новый с яндекс-маркета.

А с каких пор рэйды стали адаптековскими, интеловскими и т. д.? Мне всегда казалось, что рэйды бывают 0, 1, ... А контроллер может поддерживать или не поддерживать тот или иной стандарт.

мсье - теоретик, не видавший железных рэдов? создайте raid на adaptec-е, и подключите его к promise контроллеру. поделитесь потом результатами... более того - я вам скажу, что даже у одного вендора рэйды, собранные на одной модели контроллера, могут не завестись на другой.

Ну, если сгорит во время записи, то да. Но обычно девайсы горят во время включения, когда записываться просто нечему.

с какой такой радости? обычно - таки наоборот. хотя бы потому, что включений на жизнь сервера - десятки,а работа - десятки тысяч часов.

А так можно много разных вариантов придумать.

а зачем придумывать? возьмите статистику. ненормальный тепловой режим (да-да, рэйд контроллер рассчитан на стоечный корпус с бешеным обдувом), просчеты проектирования (из-за чего повышенный нагрев, сокращающий срок службы - гарантию отработал и ладно), бракованная партия чипов (к примеру агрессивный компаунд - ну как у нвидии в свое время было)...

Для дома с хорошей электросетью (сюда входит и подстанция, и автоматы, и сама проводка, и желательно заземление), думаю, будет достаточно резервного.

вы уже поменяли свою районную подстанцию? а может, городскую 150-220/10кВ тоже заапгрейдили? или хотя бы проинспектировали ее состояние? а что случается при попадании молнии в ЛЭП - знаете, не? оно тоже через трансформаторы пролазит однако.

теоретики такие забавные :)

Но если очень хочется онлайновый, то можно и его. Например, Huawei UPS2000-G-1KRTS за 14666 р., что по нынешнему курсу равно примерно $245, и это за новый с яндекс-маркета.

угу пара (минимум) серверных винтов по 100 баксов каждый, контроллер еще баксов за 100 (+ резервный на полку за столько же), упс за 250 баксов, каждые 2 года - баксов по 50 на замену батарей... и ради чего? :)

ну-ну, и что же сможет тот же адаптековский рэйд программно собрать-то?

А в чём принципиальная проблема, если знаешь параметры массива и в состоянии понять, где суперблок? Возможно, не для эникея задачка, конечно.

ну запустить mdraid на винтах из хардрэйда без особо шершавого напильника пожалуй не получится. и да, после того запустить их на приехавшем хардрэйде тоже навряд получится без еще более шершавого напильника.

С хардрэйдом не сталкивался, а вот со страйповым фэйкрэйдом связался один раз по глупости (молодой был). После смерти материнки с удивлением обнаружил что md сам собрал массив без каких-либо телодвижений с моей стороны (а ведь мог-бы просто не заметить этого и с горя занулить диски например).
Но рассчитывать на такую удачу явно не стоит.

P.S. вообще обсуждаете тут какую-то ересь. Перепрошивка каких-то бэушных контроллеров с алишечки, резервные контроллеры… чего блин?
/me согнал обнаглевшего кота с дисковой полки

фэйкрэйд в линуксе вообще-то dmraid-ом штатно собирается...

Я не ожидал что он подцепит фэйкрэйд собранный каким-то левым контроллером, учитывая что этот контроллер помер вместе с материнкой. Там ведь мог быть какой угодно формат хранения, на сколько я понимаю фэйкрэйды толком не стандартизированный

на сколько я понимаю фэйкрэйды толком не стандартизированный

Как раз они-то «стандартизированы», попросту там всего ничего форматов, а Intel стандартизирован и открыт без кавычек.

фэйкрэйд - потомй и фэйкрэйд, что собирается не контроллером, а драйвером (виндовым либо dmraid).

Драйвер-то может быть (мог-бы быть) уникальный для каждого производителя контроллера. Я просто привык рассчитывать на то что если есть хоть какая-то возможность создать 15 не совместимых между собой стандартов, но производители это сделают. А тут такая неожиданная победа здравого смысла

Драйвер-то может быть (мог-бы быть) уникальный для каждого производителя контроллера.

для винды - он какбы уникальный, да. для линукса драйвер контроллера - он и есть драйвер контроллера, дает пачку блочных девайсов которые собираются dmraid-ом. по другому - в ядро не примут.

Придумываешь свой уникальный формат;
Пишешь драйвер под винду;
На Linux забиваешь, потому-что 1% десктопов;

даже у одного вендора рэйды, собранные на одной модели контроллера, могут не завестись на другой.

Ну да, посмотрел сейчас, похоже, так и есть.

Но проблема всё же решаема (хотя, возможно, и не в 100% случаев). Вот пример успешного решения подобной проблемы: http://zoltan0.livejournal.com/3703.html .

обычно девайсы горят во время включения

обычно - таки наоборот. хотя бы потому, что включений на жизнь сервера - десятки,а работа - десятки тысяч часов.

При включении разные устройства могут потреблять повышенные пусковые токи, что приводит к скачкам, которые могут окончательно добить уже умирающий компонент.

бракованная партия чипов

Так это и к новым чипам относится. И если про б/у'шные хотя бы предварительно что-то погуглить можно, то новые придётся испытывать на себе.

вы уже поменяли свою районную подстанцию?

А зачем? У меня хорошая подстанция и проводка. Несколько раз в год может на пол секунды моргнуть свет. Ну и ещё пробки выбить может теоретически (практически ни разу не выбивало). А вот тем, у кого подстанция плохая, приходится это учитывать и предпринимать меры. Это как данность. Но ни в Москве, ни в Питере, ни в большинстве др. городов я с такими проблемами не сталкивался. Вот в Новороссийске сталкивался с пониженным напряжением, из-за чего приходилось перенастраивать ИБП, чтоб он не пищал и не питался всё время от батареи. А в Мск максимум что было, - плохая проводка. Замена электрики в помещении и в щитке решала все проблемы. Поэтому я думаю, что проблема плохих подстанций больше актуальна для сельской местности и м. б. для части южных городов.

и ради чего?

Ради повышения надёжности и производительности, если оно нужно. А вот насколько оно нужно, каждый решает для себя сам. Критерий цена/качество в большинстве случаев субъективен. Если для офиса ещё можно прикинуть убытки из-за простоя или потери информации, потом умножить эти убытки на вероятность такого сбоя и оценить этот критерий количественно, то ущерб от утраты любимой фотки на домашнем компе так не подсчитаешь.

MrClon написал:

вообще обсуждаете тут какую-то ересь.

[skip]

/me согнал обнаглевшего кота с дисковой полки

Ok. Заканчиваю разговор о контроллерах и ибп. Все всё уже поняли и мнение своё не изменят.

На Linux забиваешь, потому-что 1% десктопов;

Так raid больше актуален для серверов, где линукс занимает куда больше 1%, поэтому забить не получится (ну если только сам себе не злобный буратина).

Вот пример успешного решения подобной проблемы:

пример для аппаратного рэйда сможете найти? фэйкрэйд неинтересен.

При включении разные устройства могут потреблять повышенные пусковые токи, что приводит к скачкам, которые могут окончательно добить уже умирающий компонент.

мсье теоретик? soft start - не, не слышали?

Так это и к новым чипам относится. И если про б/у'шные хотя бы предварительно что-то погуглить можно, то новые придётся испытывать на себе.

относится, да. вот только новый скорее всего отработает заявленный срок гарантии (возврат более 10% - это довольно редко, не говоря уже об энтерпрайзе). а тухляк - ну как повезет, может и через неделю завернуться.

А зачем? У меня хорошая подстанция и проводка.

вы там были? видели что внутри? или просто - «хорошая потому что мне так кажется, а еще снаружи будку недавно покрасили»?

Ради повышения надёжности и производительности, если оно нужно.

да-да, тухлый рэйд контроллер с помойки, без резерва, с кешем записи и без BBU знатно повышает надежность...

Так raid больше актуален для серверов, где линукс занимает куда больше 1%, поэтому забить не получится (ну если только сам себе не злобный буратина).

Так речь была о фэйкрейде при десктопной матери (при-чём с каким-то стрёмным чипсетом). Онтопик там явно не целевая ОС. Даже если кто-то и использует такие матери на linux сервере то едва-ли ради фэйкрэйда

тихие

но ведь тогда действительно проще купить ссд, а любые шумные диски перенести в шкаф. я так пользуюсь, брат жив.