LINUX.ORG.RU

Нужен совет: Soft RAID 1 + Cluster FS

 , ,


1

2

Есть задача построить отказоустойчивую файловую помойку, бюджет не высок (до 30-40к на сервер) Главная цель: работа 24/7

Нужны ваши советы+критика. Пока «напридумывал» себе: soft raid 1 + drdb (или gluster,..) + heartbeat

Пользователей немного (200-300), трафик ~10-15МБ/с (в час пик). Данные будут раздаваться через Samba + acl. 1. в тупик ставит выбор кластерной фс. Что лучше для этих целей? 2. конфигурация железа: Насколько требовательна такая система к ресурсам? К примеру xfs на Phenom 2x4

Заранее спасибо!


Давным давно (лет 5-7 назад) игрался с XFS и была пара потерь достаточного числа файлов и повреждение файловой системы. Один раз из-за питания на рабочей станции, второй раз из-за бага в ядреном модуле на сервере (завис => Alt-SysRq-S/U/S/1 минута/B). EXT3/EXT4 оказались менее требовательными в таких случаях (меньше данных теряют), поэтому я совсем отказался от XFS. Но это не значит, что текущая реализация XFS в Linux плоха.

Сейчас есть 2 несильно нагруженных (где то 7-10 пользователей на каждый) файл-сервера с EXT4, SoftRAID1, без ACL:
1. P100/64Mb - файлы офиса, Samba :) жил до недавнего времени, когда директор на всякий решил его махнуть на новый.
2. AMD3500-2xCore/512Mb - около 50 1С 7.x крутится, Samba, гигабитная сеть, на этом важна скорость отдачи и надежность хранения. Отдаёт быстро по измерениям выше 10-15Мб/сек (но это исходящего трафика, а не данных).

Хватает всем, никто не жалуется.

Про кластер самому интересно послушать.

saper ★★★★★ ()
Последнее исправление: saper (всего исправлений: 1 )
Ответ на: комментарий от outsider

требование начальства 24/7 работоспособность. Поломается железка какая-нибудь, хартбит перекинет роли на резервную ноду. дрдб, соответственно, для синхронизации данных хочу. Или так не правильно?

my54 ()

Есть задача построить отказоустойчивую файловую помойку, бюджет не высок (до 30-40к на сервер) Главная цель: работа 24/7

  • mdadm raid1
  • drbd primary/slave
  • pacemaker+corosync

Для DRBD 4-головая карта intel на оба сервера в bonding.

Насколько требовательна такая система к ресурсам?

Оверхеда за счет mdadm+drbd не много будет по ресурсам. Главное качественное сетевое оборудование для репликации.

petav ★★★★★ ()
Ответ на: комментарий от my54

Все правильно, только кластерная фс тут не нужна, хватит ext4. Синхронизация фс будет через дрбд. Ну и про бэкап не забудь.

outsider ★★ ()

Хватит ext4, у меня на генте ща два таких кластера запущена.
Только вот если файлопомойка, то zfs получше будет.

А это уже значит привет фря или соляра.

tazhate ★★★★★ ()
Ответ на: комментарий от outsider

Ну и про бэкап не забудь.

Присоединяюсь.

petav ★★★★★ ()

Я недавно поднимал дома NAS, остановился на zfs, правда не линукс, фря. Уложился в 2500 грн, это тысяч 9 рублей. Для zfs лучше не экономить на памяти, все остальное можно подобрать достаточно бюджетное.
Думаю когда zfs станет достаточно стабильна можно будет перейти на линукс. Единственный наверное вариант софт рейда, который может работать и на фре и на линуксе это raidz (поправьте если не прав тут).

elijah_sd ()
Ответ на: комментарий от elijah_sd

Уложился в 2500 грн, это тысяч 9 рублей. Для zfs лучше не экономить на памяти

Гм :) UPS видимо уже был, раз бюджет такой небольшой?

много памяти + файловый сервер + обрыв электричества без UPS = потеря многих данных ;)

saper ★★★★★ ()

была задача у меня такая.... Собрать облако и поставить несколько серваков по разным районам города с отдачей контента, так вот... Я очень долго смотрел на гластерфс, сейчас это дело пихают в REDHAT под названием STORAGE SERVER Но я поюзал опенсорсный гластер из джита, на самом деле тема очень хорошая, разруливаешь по DNS, один падает сервак данные на другом остаются, но там была обнаружена глобальная проблема, записывая файл на ноду объемом = объему свободного места на той ноде куда пишется этот файл и все, файл не записывается дальше... Ну и там с параллельным копированием есть проблемы. Может сейчас уже поправили, на тот проект я забил, из-за других дел, но тема на самом деле хороша. А вообще есть сейчас серваки с двумя блоками питания, я думаю можно потратить 70к на такое дело. А насчет кластерных файловых - все это пока очень сырое. Надо сидеть и тестить их месяцами и также комитить баг репорты, чем я и занимался в свое время и дофигища общения в мирке с разрабами гластера. Попробуйте ее, она квотируемая и там есть собственный НФС сервер. Кстати по поводу софтовых рейдов... Лучше собирать на хардварном с батарейкой, я предпочитаю LSI RAID 6, юзаю 9260-8i очень неплохая железка, есесно с горячей заменой

init_ ★★★ ()
Последнее исправление: init_ (всего исправлений: 1 )
Ответ на: комментарий от init_

хардварный рейд ни как не подходит. боюсь, при погибании контроллера, не найти чем заменить, а в случае апокалипсиса всегда можно винты на другую тачку перекинуть.

my54 ()
Ответ на: комментарий от my54

программный рейд куда нестабильней, чем аппаратный, я администрирую порядка 6 серверов на аппаратном рейде и примерно столько же на программном, разница ощутимая. хороший аппаратный рейд всегда лучше, я не про встроенные в десктопные/серверные мамки сейчас говорю, а о каком-нибудь LSI или Adaptec

init_ ★★★ ()
Последнее исправление: init_ (всего исправлений: 1 )
Ответ на: комментарий от petav

из-за глюков mdadm может случаться непредвиденное, ну например когда синкаются винты и случайно пропадает питание, есть возможность легко не загрузить систему и восстанавливать рейд с лайфцд

init_ ★★★ ()
Ответ на: комментарий от init_

После такого может много чего случиться и без mdadm. А что-нибудь подтверждающее

программный рейд куда нестабильней

есть.

petav ★★★★★ ()
Ответ на: комментарий от petav

вот как раз при данных обстоятельствах с пропаданием электричества страдает больше программный, это по опыту могу сказать

init_ ★★★ ()
Ответ на: комментарий от petav

бывает при работе диск вылетает, хотя он чистый и бэдов нет, хрен поймет почему вылетел, в системе есть в рейде нет

init_ ★★★ ()
Ответ на: комментарий от init_

там все ок, просто ядро выкаблучивается

ох какая сила убеждения себя

redixin ★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.