Доброго времени суток, уважаемые

Дано:
Есть сайт с постоянно растущей нагрузкой. Время от времени трафикообменные ресурсы не равномерно отдают трафик. К примеру бывает такое, что суточную норму переходов они отдают за пол часа. В итоге на сайт наваливаются посетители, которых иногда в 20 раз больше обычного количества.
Имеется выделенный сервер в Украине (Xeon X3430/8G RAM) и сервер в Голландии (Xeon X3440/4G RAM).
Задача: сделать чтоб сайт был доступен всегда. Для этого один и тот же сайт должен быть на двух серверах одновременно.
Мои размышления по этому поводу:
Наверно придется держать на каждом сервере по копии сайта. Для этого нам придется в реальном времени реплицировать базу данных и статические файлы (изображение, видео).
С базой данных, наверно, все просто. Думаю применить MYSQL репликацию master<>master (по другому наверно же никак?). А вот с файлами возникла дилемма... Файлы добавляются редко. Совместного доступа на запись к файлам нет. Изначально думал использовать DRBD + OCFS2... но на практике стало ясно, что DRBD работает прекрасно в режиме master<>master только тогда, когда сервера соединены кросовым кабелем. В моем же случае, при довольно частых пропаданиях связи между серверами, одна из нод DRBD иногда падает слейв, отваливается демон OCFS2 из за чего отмонтируется файловая система, и файлы бьются. Но самое главное то, что приходится ручками все это дело поднимать.DRBD можно допилить чтоб он автоматом синкался и поднимался в Prymary<>Prymary автоматом. Но вот как быть с OCFS2? Писать велосипед который будет проверять состояние DRBD и принимать решения что и как запускать - не хочется. Жаль что heartbeat не умеет работать с DRBD master<>master.
Сейчас настраиваю glusterfs. Как у нее обстоят дела с прерыванием связи между нодами? Подтягивает ли те файлы, которые были записаны в момент прерывания связи между нодами?
Балансировка нагрузки:
1) Проверять через GeoIP откуда пришел пользователь. Если не из Украины - отправляем на голландский сервер.
2) Если количество посетителей превышает некий лимит, то с украинского сервера перебрасываем на ww2.domain.com который на голландском сервере. Для поисковых систем прописать ww2 как зеркало.

Как, по Вашему мнению, лучше всего организовать файловую репликацию?

Заранее благодарен за ответ!

В продолжение этой темы.

Проблема заключается в том, что при попытке сделать равномерное распределение трафика не по потокам а по айпишникам через SFQ, интерфейс на котором это делается "зависает" (т.е. перестает проходить какой либо трафик). раньше я использовал ESFQ, но он уже не поддерживается, и его функционал был перенесен в SFQ который есть в ванильном ядре. Вот текст скрипта:

TC="/sbin/tc"
$TC qdisc del dev eth0 root &> /dev/null
$TC filter del dev eth0 &> /dev/null
$TC class del dev eth0 &> /dev/null

$TC qdisc add dev eth0 root handle 1: htb default 20 r2q 10
$TC class add dev eth0 parent 1: classid 1:1 htb rate 1024mbit

$TC class add dev eth0 parent 1:1 classid 1:10 htb rate 100mbit burst 6k prio 0

$TC class add dev eth0 parent 1:10 classid 1:110 htb rate 256kbit ceil 100mbit prio 0 burst 6k
$TC class add dev eth0 parent 1:10 classid 1:120 htb rate 128kbit ceil 900kbit prio 7 burst 6k

$TC class add dev eth0 parent 1:1 classid 1:20 htb rate 1000mbit prio 2

$TC qdisc add dev eth0 parent 1:110 handle 110 sfq perturb 5
$TC qdisc add dev eth0 parent 1:120 handle 120: sfq perturb 5
$TC qdisc add dev eth0 parent 1:20 handle 20: sfq perturb 5

# после добавления ниже перечисленных строк, полностью прекращается прохождения трафика через eth0
$TC filter add dev eth0 parent 110: protocol ip handle 1 flow hash keys nfct-dst divisor 256 baseclass 1:110
$TC filter add dev eth0 parent 120: protocol ip handle 1 flow hash keys nfct-dst divisor 256 baseclass 1:120
$TC filter add dev eth0 parent 20: protocol ip handle 1 flow hash keys nfct-dst divisor 256 baseclass 1:20

Подскажите пожалуйста где проблема.

Заранее благодарен!

Доброго времени суток!

Так случилось, что нужно было перейти с php4 на php5. Но проблема заключается в том, что на сервере крутится компилиная софтина, и к ней веб-морда с php-шным модулем. А он не хочет работать с php5. В логах:

[Mon Feb 23 12:43:44 2009] [error] [client xxx.xxx.xxx.xxx] PHP Warning: PHP Startup: Unable to load dynamic library '/usr/lib/php5/lib/php/extensions/xxxxx.so' - /usr/lib/php5/lib/php/extensions/xxxxx.so: undefined symbol: compiler_globals in Unknown on line 0, referer: http://xxxxxx.com/info.php

Связаться с девелоперами очень сложно. Можно ли каким-то образом заставить его работать в php5?

Доброго времени суток уважаемые форумчане.

Заранее хочу извинится что пишу в этой теме. Просто хочется услышать мысли знающих людей обитающих в этой ветке.

Уже два дня мучаюсь с проигрыванием HD видео под своим Gentoo Linux. И скажу честно, очень разочаровался в возможностях линукса по работе с HD видео.

Скачал вот этот фильм: http://torrents.ru/forum/viewtopic.php?t=968744 . Пробую его посмотреть посредством Mplayer:

mplayer -nobps -ni -forceidx -mc 0 -vo sdl -vfm ffmpeg -lavdopts lowres=1:fast:skiploopfilter=all:threads=2 Cube.1997.1080i.HDTV.H.264.Rus.ts

В консоли появляется ошибки:

[h264 @ 0xab95c0]number of reference frames exceeds max (probably corrupt input), discarding one
[h264 @ 0xab95c0]number of reference frames exceeds max (probably corrupt input), discarding one
[h264 @ 0xab95c0]number of reference frames exceeds max (probably corrupt input), discarding one
[h264 @ 0xab95c0]mmco: unref short failure
[h264 @ 0xab95c0]mmco: unref short failure 2/ 2 ??% ??% ??,?% 0 0

Через секунд 5-10 появляются в консоли:

A: 741.0 V: 736.8 A-V: 4.255 ct: 2.970 1005/1005 55% 3% 2.6% 0 0
Слишком много (106 в 8440370 байтах) видеопакетов в буфере!
Возможно Вы проигрываете 'неслоёный' поток/файл или неудачный кодек?
Для AVI файлов попробуйте форсировать 'неслоёный' режим опцией -ni.

...и при этом начинает тормозить видео, отставая от звука. Опция -ni ничего не изменила.

Пробовал менять -vo sdl,xv,x11,gl,gl2, пробовал -nocache и -cache 1048576 (максимальный размер), пробовал -framedrop и даже -hardframedrop - но в консоли выдаются все те же ошибки, и все так же тормозит видео. Даже пробовал другие фильмы. результат тот же.

Пробовал соберать mplayer из SVN, пробовал бинарную сборку - тоже самое. Собрал vlc и xine. Так они вообще при попытке просмотреть этот файл сегфолтятся.

Самое интересное то, что под WindowsXP x64 этот файл отлично проигрывается посредством Media Player Classic. Где-то читал, что в K-Lite Codec Pack, а именно в кодеке этого формата, применяется во первых много поточности декодирования, а во вторых опережающее декодирование, что позволят просматривать без тормозов HD видео на не очень мощных компьютерах.

Аппаратно-программная часть:

CPU: AMD Athlon(tm) 64 X2 Dual Core Processor 4200+ (2200Mz каждое ядро)
RAM: 3G
Video: NVIDIA GeForce 6600 GT
Video Driver: nvidia-drivers-177.80
Sound: Creative Labs SB Live!
MotherBoard: Asus A8N-SLI Premium
Kernel: 2.6.26.6
Mplayer: mplayer-1.0_rc2_p27725-r1
Mplayer USE flags: 3dnow 3dnowext X a52 aac alsa dga dv dvd enca ftp gif gtk iconv jpeg mad mmx mmxext mp2 mp3 opengl oss quicktime samba sdl srt sse sse2 ssse3 theora truetype unicode vorbis x264 xscreensaver xv xvid xvmc

При проигрывании mplayer форкается на 2 процесса. При просмотре, из 2-х ядер CPU, грузится лишь одно на 50%. Видимо декорер не поддерживает много поточность.

Буду рад услышать любые мысли по этому поводу, уважаемые.

Неужели в линуксе все настолько печально с H.264?

Доброго времени суток, уважаемые.

Продолжая тему http://www.linux.org.ru/view-message.jsp?msgid=3122701#3126639 автором которой являюсь я.

На обеих серверах Gentoo.

У меня почему-то с квотами творится какая-то мистика... На одном сервере при загрузке автоматически включаются квоты. Даже не выполняя команду quotaon. Причем на DRBD разделе. А вот на другом сервере, квоты почему-то слетают при каждой перезагрузке. Причем /etc/init.d/quota запускается автоматически(с которого также вызывается quotacheck).

# rc-update -s | grep quota
quota | boot

По поводу quotacheck. Насколько я понимаю, он нужен для проверки целостности квот. А о какой целостности говорится - не понятно. Елинственное что приходит на ум - это отправка юзерам warnquota мессаг. Но зачем рекомендуют его выполнять в crontab - тоже не понятно. Тем более, если его запускать при смонтированном разделе, то возможно повреждение данных. Тогда, получается, нужно по крону отмантировать раздел, и запускать его? Но зачем он вообще нужен, если мне не нужно отсылать юзерам уведомление.

Вопросы:
1) Каким образом могут автоматически включатся квоты без quotaon? Может это особенность 2-й версии quota?
2) Все таки для чего нужен quotacheck? Зачем его запускать при загрузке системы и по крону?

Заранее благодарен за ответы!

Всем привет.

Уже давно слушаю инет радио на работе. Но время от времени возникает роблема. Когда сбоит соединение с сервером, то радио постоянно прерывается, из за чего его слшать просто невозможно. :(

Написал скрипт, который при обрыве соединения, переподключается к следующему серверу в соответствии с плей-листом.

#!/bin/bash

while [ 1 ]; do
for i in http://scfire-dll0l-1.stream.aol.com:80/stream/1048 http://scfire-chi0l-1.stream.aol.com:80/stream/1048 http://scfire-nyk0l-1.stream.aol.com:80/stream/1048 http://scfire-dll0l-2.stream.aol.com:80/stream/1048 http://scfire-nyk0l-2.stream.aol.com:80/stream/1048 http://scfire-chi0l-2.stream.aol.com:80/stream/1048 http://scfire-ntc0l-1.stream.aol.com:80/stream/1048 http://scfire-ntc0l-2.stream.aol.com:80/stream/1048 http://207.200.96.226:8048 http://radioparadise.steadyhost.com:8060 http://radioparadise.steadyhost.com:8050 http://64.236.34.97:80/stream/1048;do
mplayer -cache 2000 $i
done
done

Но к сожалению параметр -cache никаким образом не спасает от глюков при проигрывании. Даже когда я ставлю большой размер кеша, то при глюке соединения, всеравно радио прерывается.

Внимание вопрос: Каким образом можно слушать радио без прерываний. Не обязательно mplayer-ом. Можно и другой прогой, только лишь бы работало нормально.

Заранее благодарен!

Всем привет.

Заранее хочу извинится за длинный текст.

Прошу помочь разобраться с маркировкой пакетов перед отправкой в определённый класс шейпинга.
Дано: сервер под управлением Gentoo со Squid-ом на борту. Два канала инета по 4М мира и 100М украины, по которым сервер равномерно распределяет нагрузку. До сих пор все шейпились в одном классе с максимальной скоростью 6000kbit (собственно исходя из толщины мирового канала) и при помощи esfq и hash dst равномерно распределялось по всем айпишникам (а не по потокам как в sfq). Но как показала практика, это не совсем оптимальное использование каналов. Посему возникла необходимость по Украине пускать с полной скоростью 100M, а мир как и раньше загонять с 6000kbit-ный класс как и раньше.

Вот как я все это реализовал:
Есть корневой класс 1: который я поделил на 1:10 со скоростью 6000kbit и приоритетом 0 (чтоб качающие по украине были в приоритете ниже чем по миру), и 1:20 со скоростью 200М (учитывая что два канала по 100М).

Вот как заворачиваю трафик в 1:10:
IPT -t mangle -A POSTROUTING -d 192.168.0.0/16 -o eth0 -j CLASSIFY --set-class 1:10

Вот как проверяю и заворачиваю в 1:20 (UA-IX):
$IPT -t mangle -N UA-IX
for i in `cat /etc/conf.d/ua-list.txt`; do \
$IPT -A UA-IX -t mangle -s $i -j CLASSIFY --set-class 1:20
done
$IPT -A POSTROUTING -t mangle -d 192.168.0.0/16 -o eth0 -j UA-IX

В чем собственно проблема:
Поскольку у меня еще и Squid работающий в прозрачном режиме, то пакеты выползающие с eth0 и идущие в локалку прекрасно захватываются правилом -t mangle -A POSTROUTING -d 192.168.0.0/16, поскольку мы проверяем адрес получателя а не источника. А вот правило, которым нужно проверять по источнику -A UA-IX -t mangle -s <UA-IX net> не срабатывают, так как пакеты не проходят через цеполчку POSTROUTING, потому, что они выходят с Squid-а а не роутятся с инета. Я пробовал -n mangle -A OUTPUT, но результат тот же. Без Сквида, понятное дело, что все работает.

Внимание вопросы:
1) Можно ли каким-то образом маркировать пакеты выходящие из Сквида в локалку по адресу источника?
2) Можно ли маркировать только пакеты с установленным SYN флагом, чтоб не прогонять весь трафик через всю цепочку UA-IX? Знаю, что можно юзая CONNMARK, но проблема в том, что у меня уже маркируются таким образом соединения при балансировке нагрузки каналов:
$IPT -A POSTROUTING -t mangle -j MARK --set-mark 0x200 -m state --state NEW -o $IF1
$IPT -A POSTROUTING -t mangle -j MARK --set-mark 0x100 -m state --state NEW -o $IF2
$IPT -A POSTROUTING -t mangle -j CONNMARK --save-mark -m state --state NEW
Тогда каким образом делать CONNMARK, чтоб одно не мешало другому?

Заранее благодарен за ответы!

>>>

Всем привет.

Почему-то не работают квоты для пользовтелей, у которых в имени содержется точка. То есть команда..

setquota -u test.test 256000 286720 0 0 /dev/md3

...молча выполняется, но при этом квота не выставляется :(.

# quota test.test Disk quotas for user test.test (uid 1568): none

При выполнении repquota -a, вообще не показывает юзера, в логине которого есть точка. Хотя пользователь существует:

# id test.test uid=1568(test.test) gid=1568(test.test) groups=1568(test.test)

Ребята, можно ли как-то решить эту проблему? Заранее благодарен за любые мысли по этому поводу.

>>>

Доброго времени суток, товарищи.

Не подскажет ли великий All как настроить проверку квот exim-ом перед получением почтового сообщения? Гугл выдал ссылки на настройку exim с проверкой квот которые хранятся в LDAP или MySql. Но мне этот метод не подходит, так как пользователь имеет личные файлы которые находятся на этом же разделе, что и папка с mailbox-ами. То есть приходится применять квоты на уровне файловой системы. И нужно проверять суммарную квоту, по всем файлам пользователя, которые хранятся на этом разделе. Тогда возникает вопрос: что прописать в "quota = " в exim.conf для проверки квоты файловой системы?

Может можно как-то в строке "quota = " прописать выполнения перлового скрипта, который будет проверять квоту для юзера (выполняя shell команду quota -u <user>), и выдавать инфу exim-у в нужном виде.

Заранее благодарен!

>>>

Доброго времени суток уважаемый All!

не могу настроить репликацию :(.
Система Gentoo. Openldap собран с вот такими USE флагами:

[ebuild R ] net-nds/openldap-2.3.41 USE="berkdb crypt gdbm overlays perl samba slp ssl -debug -ipv6 -kerberos -minimal -odbc -sasl (-selinux) -smbkrb5passwd -tcpd"

Настройки /etc/opeldap/slapd.conf MASTER:
replogfile /var/lib/ldap/replog
replica uri="ldap://192.168.0.250:389" bindmethod=simple binddn="cn=replicator,dc=domain,dc=ua" credentials=pass

Настройки /etc/opeldap/slapd.conf SLAVE:
updatedn cn=replicator,dc=domain,dc=ua
updateref ldap://192.168.0.249:389
access to * by dn="cn=replicator,dc=domain,dc=ua" write

На МАСТЕРЕ запускаю slurpd в отладочном режиме: /usr/lib/openldap/slurpd -d 65535 -f /etc/openldap/slapd.conf
Последнее что вижу:
Config: (index cn,mail,surname,givenname eq,subinitial)
Config: ** configuration file successfully read and parsed
begin replication thread for 192.168.0.250:389
...и все. При любых изменениях на мастер-лдапе slurpd вообще не реагирует.

Перечитал уже валом док, но так и не понял почему slurpd не хочет реплицировать на СЛЕЙВ лдап :(

где я ошибся?

Заранее благодарен!

>>>

Привет ребята.

Есть поле ip таблицы ranges с типом varchar(100), в котором находится примерно такие данные: 192.168.0.1-100
Мне нужно запросом проверить входит ли конкретным айпишник: 192.168.0.99 в тот диапазон, который указан в таблице. Если входит, то вывест запись. Делаю вот так:

SELECT * FROM ranges WHERE ip REGEXP '192.168.0.[выражение]';

Помогите пожалуйста написать регуляр(или может как-то подругому), который проверял бы соответствует ли последняя цифра айпишника (99) какому-то из диапазонов поля ip.
Мускуль 4.1.22

Зарание очень благодарен.

>>>

Всем привет.

Система Gentoo, почтовик exim. Когда глюит шлюз, то на ниже стоящем почтовом сервере почта отлиживается в очередь. Но когда инет провлемя с каналом решена, то мыло всеравно остается в очереди до истичения retry time.Можно ли как-то обнулить retry time для всех сообщений вручную? Чтоб сразу после фикса проблемы сразу запустить почту на отправку, не дожидаясь пока прийдет черед повторной попытки отправки.

Заранее благодарен.

>>>

Привет всем.

Настрои Samba PDC с сохранением информации в LDAP. На виндовой тачке залогинился как администратор домена, через MMC консоль подключился к контроллеру домена и изменил права доступа к шарам. Все прекрасно работает, но вопрос в том, где эти права сохраняются на серваке? Просерял acl нф файловой системе - без изменений, smb conf тоже без изменений, в LDAP базе тоже ничего.

Подскажи-ка пожалйста, о могучий All... Где сохраняются эти права доступа ?

>>>

После почти двухлетней разработки и тестирования, наконец-то вышел релиз одного из самых функциональных и быстрых почтовых Web-интерфейсов, написанного на языке Perl.

Самым главным изменением является полная поддержка UTF-8.

>>> Полный список изменений

Доброго времени суток.

Дистриб Gentoo, exim-4.68.

Когда заводится в сетке вирус, который отправляет спам, то письмо в очереди выглядит так:

 6h  1.1K 1JEhx3-0006jt-QV <> *** frozen ***
          nagashima_koichi@allergan.com

Нормальное же письмо выглядит вот так:

 5h  202K 1JEilK-0003QV-6d <irina.*****@*******.biz>
          ****@*******.hu

Можно ли настроить exim таким образом, чтоб он не принимал на отправку письма, у которых не заполнено поле "От кого" ?

Зарание благодарен.

>>>

Привет всем.
Дано: два сервака, между ними гигобитная сетка. Пытаюсь копировать файло при помощи rsync. На одном из серверов поднят rsyncd. Но при передичи посдерством rsync наблюдаеться плохая скорость переливания. Где-то примерно 30-60 мегобит/сек.
З.Ы: Если переливать файло при помощи scp - получается скорость порядка 150-230Мегобит/сек.

Система Gentoo с последними обновлениями и rsync-2.6.9-r3.

Не знаю где искать проблему.

>>>

Всем привет.

Система Gentoo с последними обновлениями.

Обновил Апач с 2.0.58-r2 до 2.2.4-r12. В конфигах ничего не менял. Все работает нормально, НО перестали отображатся картинки. Начал копать в сторону Content-Type:

# HEAD https://***.*****.ua/images/iconsets/Cool3D.Russian/compose.gif
403 Forbidden
Connection: close
Date: Wed, 05 Sep 2007 18:46:18 GMT
Server: Apache
Content-Type: text/html; charset=iso-8859-1
Client-Date: Wed, 05 Sep 2007 18:46:17 GMT
Client-Peer: 192.168.0.250:443
Client-Response-Num: 1
Client-SSL-Cert-Issuer: /O=Apache HTTP Server/OU=For testing purposes only/CN=localhost
Client-SSL-Cert-Subject: /O=Apache HTTP Server/OU=Test Certificate/CN=localhost
Client-SSL-Cipher: DHE-RSA-AES256-SHA
Client-SSL-Warning: Peer certificate not verified

Почему-то Content-Type: text/html, заместь Content-Type: image/gif.
В /etc/apache2/httpd.conf:
TypesConfig /etc/mime.types

# ls -la /etc/mime.types
-rw-r--r-- 1 root root 20537 2007-09-05 21:11 /etc/mime.types

# cat /etc/mime.types | grep gif
image/gif gif

Уже писал прямо в конфиге AddType image/gif .gif - не помогает :(.

Подскажи-ка пожалуйста уважаемый all, куда копать.

Привет всем.

Объясните плиз чем maildir лучше mailbox ? Гугл мало чем помог. А RFC читать облом. Просто напишите в чем их разница. Я понимаю что у них разный принцип хранения мыла. А кроме этого ? Слышал что mailbox медленее разгребать pop3 демону чем индексированый сам по себе maildir. Хотя если тот-же dovecot умеет индексировать mailbox, тогда остается для меня загадкой почему maildir все так хвалят.

Зарание благодарен.

ПХелло олл!

Система Gentoo Linux.
Не запускается clamav:

mail ~ # /etc/init.d/clamd start
 * Starting clamd ...
Running as user clamav (UID 101, GID 407)
ERROR: Can't open /var/log/clamav/clamd.log in append mode (check permissions!).
ERROR: Problem with internal logger. Please check the permissions on the /var/log/clamav/clamd.log file.
 * Failed to start clamd                                                                                                            [ !! ]
 * Starting freshclam ...
Can't change dir to /var/lib/clamav
 * Failed to start freshclam                                                                                                        [ !! ]
mail ~ # ls -lan /var/log/clamav/clamd.log
-rw-r----- 1 101 407 44762 2007-05-22 03:18 /var/log/clamav/clamd.log

Что я делаю неправильно ?

Привет всем!

Дистриб: Gentoo
Столкнулся со странной проблемой. В ядрах >=2.6.19-hardened при загрузке не определяется soft raid mirror. При том, что в более ядрах ядрах все работает нормально. Сначала думал что это глюк именно в 2.6.19, но с выходом 2.6.20 и 2.6.21 ничего не изменилось. Незнаю где искать проблему :(

Настройки ядра (которые относятся к рэйду) в 2.6.18 и >=2.6.19 идентичны:

Multi-device support (RAID and LVM)
[*] Multiple devices driver support (RAID and LVM)
<*> RAID support
<*> RAID-1 (mirroring) mode

Ядро 2.6.18:

md: Autodetecting RAID arrays.
md: autorun ...
md: considering sdb4 ...
md: adding sdb4 ...
md: sdb3 has different UUID to sdb4
md: sdb1 has different UUID to sdb4
md: adding sda4 ...
md: sda3 has different UUID to sdb4
md: sda1 has different UUID to sdb4
md: created md3
md: bind<sda4>
md: bind<sdb4>
md: running: <sdb4><sda4>
raid1: raid set md3 active with 2 out of 2 mirrors
md: considering sdb3 ...
md: adding sdb3 ...
md: sdb1 has different UUID to sdb3
md: adding sda3 ...
md: sda1 has different UUID to sdb3
md: created md2
md: bind<sda3>
md: bind<sdb3>
md: running: <sdb3><sda3>
raid1: raid set md2 active with 2 out of 2 mirrors
md: considering sdb1 ...
md: adding sdb1 ...
md: adding sda1 ...
md: created md1
md: bind<sda1>
md: bind<sdb1>
md: running: <sdb1><sda1>
raid1: raid set md1 active with 2 out of 2 mirrors
md: ... autorun DONE.

Ядро 2.6.21:

md: Autodetecting RAID arrays.
md: autorun ...
md: ... autorun DONE.

...ну и после этого соответственно kernel panic, так как корневой расдел у меня на софт рэйде.

Куда копать ?