LINUX.ORG.RU
Форум — General  

Создаем Мощный imap-сервер !!!


0

0

Значит так... Прошу помощи профи спецов.

Хочу создать imap-сервер, готовый обслуживать ~200 клиентов (в будущем 500) с почтовыми ящиками лимитированными 2-мя Gb, соответсвенно имеющим на борту 1Тбайт памяти.

Мои предположения:
думаю это будет HP в стиле DL380
в нем корзина на 8SAS винтов, соответсвенно из 146Gb можно собрать приличный массив. Если уже делают SAS300Gb, то еще лучше.
далее по железу:
Четырёхъядерный процессор Intel® Xeon® E5320 1,86 ГГц - думаю не столь важно.
Объём памяти 4 Гб (4 x 1 Гб) - думаю достаточно.
Контроллер HP Smart Array P400/512 Мб BBWC (RAID 0/1/1+0/5/6) может и 256 хватит.

Стоять будет Debian, так как он единственный привлекательный дистрибутив который предложил использовать XFS, в качестве файловой системы.
Крутить все это будет Cyrus-Imap.

Значит сообственно вопросы.

1. На что надо обратить в нимание в конфигурации ?
2. Предложите достаточный обьем кеша, для RAID контроллера.
3. Посилам ли это все XFS, или может стоит посмотреть в сторону ReiserFS, или может вообще zfs ?
4. Есть предположение, что лучше всего это соорудить на серваке с двумя разными контроллерами, и соответсвенно разными корзинами, что бы на одном контроллере крутился маленький массив для системы, а на втором большой массив для мессаг. Соответсвенно вопрос, действительно это надо сооружать для такой системы, и есть ли такие серваки ? Уважаю HP, но что то там не нашел.
5. И на последок. У кого есть опыт строение токого большого imap'a ? Может кто уже сталкивался с определенными трудностями ?


Замечу только по софту и ФС. В случае с raid не стоит использовать нетрадиционные (всмысле, непопулярные) ФС, т.к. когда-нибудь явно случится крэш. Подходить к выбору стоит с точки зрения софта, позволяющего безболезненно восстанавливать \ переразмечать \ изменять размер. На данный момент это ext2. Во поводу 2-х контроллеров странно. На диск, воткнутый в сервер, ставишь систему (кстати, лучше выбрать что-нибудь попроще и полегче чем дебиан), а на козринке держишь собственно почту.

Anoxemian ★★★★★
()

Дело не в количестве RAM на контроллере, удостоверься, что BBU(Battery Backup Unit) в райд вставили. По поводу FS - сказали. От себя я бы предложил ext3 всё-таки, а не ext2.

2 мелких(2х36Gb хватит вполне, если найдёшь :) диска(в зеркале) в корзине оставь под систему, остальные 6 - RAID 1+0. Если есть большой денежный ресурс, то, конечно, лучше 2 разные корзины и 2 разных контроллера(отказоустойчивость), но это значительно удорожает стоимость решения.

Deleted
()
Ответ на: комментарий от Anoxemian

Сдается мне что ext2/3 вспатеет от такого количества файлов, склоняюсь всетаки к выбору XFS/ReiserFS.

saks
() автор топика
Ответ на: комментарий от saks

> Сдается мне что ext2/3 вспатеет от такого количества файлов

Тебе дело говорят. Лучше прислушайся. А такого количества файлов никто не скончается. А почему я за ext2 - на таком количестве дисковых операция, имхо, журанл - лишняя нагрузка. Да и в случае падения - восстанавливать одно письмо - малая кровь по сравнению с нервотрёпкой, если что-то с рэйдом случится.

Anoxemian ★★★★★
()
Ответ на: комментарий от Anoxemian

А ты представь что ящики полные, в 2Gb можно уместить 5000писем, соответсвенно 5000файлов. 5000х500=2500000файлов, И что, ext2 не вспотеет, при условии что из этих 500 юзверов каждый, раз в пять минут забирает почту, некоторые шарятся по папкам, а некоторые юзают поиск по папкам...

saks
() автор топика
Ответ на: комментарий от birdie

С reiser тоже не все так гладко - http://halisway.blogspot.com/2007/05/cyrus-imap-file-system-tuning.html
Сейчас выбираю между ext3 и xfs.
ext2 исключается сразу:
When using the ext2 filesystem, you must set an attribute, that defines, that all changes are immediately committed to the disk. With todays journaling filesystems there is no need. If you are still running ext2 filesystems, I strongly suggest to switch to ext3 filesystems.
(http://www.delouw.ch/linux/Postfix-Cyrus-Web-cyradm-HOWTO/html/cyrus-config.html)
Ну и RAID 1+0 - то, что доктор прописал.

capricorn20 ★
()

использование RAID не освобождает от ответственности делать BACKUP. надеяться что можно будет что то вытащить из упавшей ФС это -10 от ума, тем более если RAID рассинхронизировался.

anonymous2 ★★★★★
()
Ответ на: комментарий от anonymous2

>использование RAID не освобождает от ответственности делать BACKUP Админы делятся на два типа: одни уже делают бэкапы, а другие еще нет :) и бэкап на кассетах. Посатвить стриммер от того же HP.

Кроме того хотелось бы предостеречь от покупки Райд контроллеров с САТА дисками. Сам имею теперь с ними головную боль. обязательно SCSI диски, SCSI контроллеры, как раз и стриммер будет куда повесить (о САТА стриммерах не слышал, USB стриммер не справится с такими массивами данных).

по поводу ext2 или ext3 не совсем понимаю проблемы - ext3 это же и есть ext2 только с журналом, так что ext3 считаю ни на байт не хуже ext2.

И по поводу ящиков - обязательно ли каждому по 2 Гб перебор мне кажется. Ну и не забудь предусмотреть место под архивы, потому как большие ящики это хорошо, но удалять все равно из них прийдется а вместо удаления хорошо бы было архивировать почту.

anonymous
()
Ответ на: комментарий от saks

>что из этих 500 юзверов каждый, раз в пять минут забирает почту

Вы там реальнее фантазируйте. 500 пользователей, каждый из которых каждые 5 минут забирает себе 2 Гб почты? У вас что, до каждого пользовательского компа гигабитный канал?

Насколько я помню, самая большая проблема ext2/3 была при большом количестве файлов > 15000 в одном каталоге. У вас на каждого пользователя, понятно, отдельный каталог, а в нем еще подкаталоги (почтовые папки).

>Это само собой, вот всеравно сомневаюсь, что ext3, может всетаки Reiser ?

Блин, есть же анекдот про спиливание мушки. Вам настойчиво советуют ext3, но если вам так хочется, ставьте Reiser.

mky ★★★★★
()

Не знаю, относительно 2х разных контроллеров/корзин. При росте кол-ва компонент живучесть системы растет, а надежность падает. Ведь в вашем случае обязательно, чтобы работали оба контроллера. ИМХО, делать на 8 винтах RAID6, а нем отдельный раздел под корень.

А еще можно подумать о втором серваке, вроде бы Cyrus умел делать репликацию --- это уже если нужна совсем надежная система.

mky ★★★★★
()

Чтобы не повторять уже сказанное, предложу новую идею.

Каждому юзеру отдельную фс (разделы нарезать на LVM) размером в 2Гб.
1. Если одна фс слетит, то восстанавливать легко -- 2Гб это не 2Тб.
2. С квотами не придется иметь дела.

Единственное, не знаю каково будет поведение системы с 200-500 разделами/фс'ами

sdio ★★★★★
()
Ответ на: комментарий от anonymous2

О Бекапе уже подуманно, стоит ленточная библиотека, на 8х800Гб касет.

saks
() автор топика
Ответ на: комментарий от saks

>А что с квотами могут быть какие нибудь трудности ?

Да. А ты с cyrus-imap когда-то работал?

sdio ★★★★★
()
Ответ на: комментарий от saks

5000 писем это херня на самом деле, ext2 все схавает и даже не заметит ничего. У тебя же они не будут лежать 2500000 файлов в одной директории, а в такой ситуации загнется даже хваленый reiser

Reset ★★★★★
()
Ответ на: комментарий от Reset

При большой нагрузки на ФС, на ext2 удается восстановить очень мало, причем обычно совсем не то, что надо :(. Зато случайно рубанув питание можно много что потерять.

У Cyrus'а появилась опция "delayed delete", вроде бы она позволяет все удаляемые письма сыпать в скрытый почтовый ящик, из которого они удаляются отдельной командой (сам не проверял).

mky ★★★★★
()
Ответ на: комментарий от Reset

при создании ext-файловой системы можно задавать размер блока
если количество файлов велико и размер их невелик , размер такого блока нужно задавать минимальным - например в 1 килобайт
по умолчанию по-моему он равен 4 килобайтам

kto_tama ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
General