Переход Почты Mail.Ru на 64-битную архитектуру: как это было

Ну наконец-то хоть кто-то понял, почему меня так веселит до ужаса :))

А я вот до сих пор не понял. В логи апача ты можешь писать время отдачи страницы. Периодический опрос с сервера мониторинга необходим, но достоверный график с временем генерации страниц он не построит.

Опять же кратковременные, но часто повторяющиеся ошибки без логов сложно поймать.

Сам-то давно? Я всего два года его использую.

Понимаешь, я не сервис с 1000 серверов. Когда я его для себя открыл - вопрос весьма косвенный ;)
А вот как они деплоили до этого - мне теперь жуть как интересно.
svn up ручками, наверное.

Стоп, а репозитории то у них есть вапще? =D

А я вот до сих пор не понял. В логи апача ты можешь писать время отдачи страницы. Периодический опрос с сервера мониторинга необходим, но достоверный график с временем генерации страниц он не построит.
Опять же кратковременные, но часто повторяющиеся ошибки без логов сложно поймать.

Значит перечитай внимательно. У них мониторинг ОСНОВАН на логах веб-сервера.

Стоп, а репозитории то у них есть вапще? =D

По ссылке сказано - есть

А вот как они деплоили до этого - мне теперь жуть как интересно.

Я не знаю что у них за приложения. Лично я до открытия puppet'а скриптом забирал файлы с центрального cvs. Скрипт был один на все сервера, а в его конфиг - специфичный для каждого сервера. В конфиге аккаунт на cvs, и список - что из cvs взять, куда положить и с какими правами.

Я и не спорю. Это я к теме некрофилии.

Вполне приличная ОСь.

Попозже сяду и напишу, что думаю об этом. Чувствую, что уже пора давно это сделать.

Ни о чём. Вообще не понял, где в статье про проблемы перехода на 64 бит.

Лично я до открытия puppet'а скриптом забирал файлы с центрального cvs. Скрипт был один на все сервера, а в его конфиг - специфичный для каждого сервера. В конфиге аккаунт на cvs, и список - что из cvs взять, куда положить и с какими правами.

Вот прежде чем городить городушки - надо было залезть в гугл и изучить вопрос как следует.

Ни о чём. Вообще не понял, где в статье про проблемы перехода на 64 бит.

Модуль им для апача переписать пришлось!

Значит перечитай внимательно. У них мониторинг ОСНОВАН на логах веб-сервера.

В статье мало информации: «Так как на ErrorLog Apache завязана наша система мониторинга, пришлось научить новый сервер логировать ошибки так, как нам нужно» . Я не считаю себя таким уж гуру чтобы оценивать такой способ мониторинга.

Я видел систему, которая дёргала данные из websphere, скриптом на каком-то экзотическом языке. Сам писал скрипты для получения данных из san массивов ( ssh, http xml, банальный naviseccli, snmp с последующим применением битовых масок к полученным данным ( hitachi. ох уж эти азиаты... ) ) из логов puppet, ossec. Много скриптов, парсящих вывод внешних команд...

На мой взгляд в системе мониторинга самый главный критерий - надёжность. А красота решения иногда побоку.

А я туда же закину свои мысли об oracle linux. Больше всего времени уйдёт на переформулирование с матерного на культурный.

valgrind-у памяти не хватает :-)

А я туда же закину свои мысли об oracle linux. Больше всего времени уйдёт на переформулирование с матерного на культурный.

Но я то собирался написать себе в блог =D

И чё, ну хоть бы конкретные проблемы технически расписали. Просто мы сейчас тоже приложение на линукс в т.ч. 64 бит портируем (~10mloc), вот я бы порассказал ужасы про sizeof(long) и код вида union { double d; struct { long hi; long lo; } }. Т.е. про конкретные ошибки. А то «переписали капчу» «переписали логгинг» - зачем переписали? что не работало? Какие проблемы, решения, выводы? Ни о чём.

из websphere, скриптом на каком-то экзотическом языке

Это tcl у нас экзотический язык? Кстати это нормальный, рекомендуемый способ общаться с вебсферой...

Какой год на дворе?

1913

вот и превратились толксы в жж модераторов.

вот и превратились толксы в жж модераторов.

А мне хоть что-нибудь постить можно? Разрешаешь?

конечно можно, дорогой, пости не жж.

конечно можно, дорогой, пости не жж.

А что такое не жж в контексте толксов?

Я знаю одну коммерческую компанию которая до сих пор на SCO Unix 5 сидит и никуда ехать не хочет, ибо всё работает :)

У меня тоже дружбаны до сих пор пользуют AIX 4.15 :)

а зачем им вообще апач на фронтенде?

Клиенты от ужаса у них еще не разбегаются?

я нет. с ними моя скучная и размеренная жизнь наполняется множетсвом нежданчиков!

Клиенты от ужаса у них еще не разбегаются?

Какие клиенты? :)

На таких объемах данных ни о каких 32х битах говорить вапще не приходится. Не говоря уже о быстродействии, да.

У них же кластеры из десятков тысяч слабеньких машин.

Смешной тред :)
Надо бы еще постебаться над mail.ru, что они bleeding edge софт не используют и ядра самые новые не ставят. А чо, прогресс хули....

Соответсвенно, если мы говорим про хайлоад в таких масштабах как у мейлру - это просто лютый кретинизм.

они заботятся о тех, кто к ним на вебморду через гпрс из глухой деревни ломится. все должно быть гармонично и ширина канала должна сочетаться с реакцией сервака!

а зачем им вообще апач на фронтенде?

Если б я знал...

У меня просто слов нет. Какой год на дворе?

просто ты ничего не понимаешь в ынтырпрайзе. мы вот бодались за то что у нас более свежая версия VMWare и более новый процессор. производитель требовал строго древней версии VMWare и более старого проца.

и да, хоть в требованиях и ОС под 64 бита однако весь тырпрайзный софт строго 32 бита.

производитель требовал строго древней версии VMWare и более старого проца.

производитель чего?
и в данном случае вроде как никакого специфичного софта нет

производитель чего?

ынтырпрайза же.

а в случае мейл.ру, о каком производителе идет речь? какой специфичный софт они юзают?

глюпый что-ли? может для тебя статью в вики запилить ещё?

может для тебя статью в вики запилить ещё?

Хватит комментария.

не буду, ты все равно не считаешь нужным использовать полезные советы.

не буду, ты все равно не считаешь нужным использовать полезные советы.

4.2

Работало же, на кой хрен что-то менять ? :)

Полагаю, проблема в том, что они при этом делятся «опытом». Хабр на половину состоит из переводов западных публикаций, вторая половина - откровения как раз таких вот «экспертов». Редкая статья отечественного автора там не вызывает фейспалма.

Редкая статья отечественного автора там не вызывает фейспалма.

Пора бы мне себе уже завести там аккаунт.

У них мониторинг ОСНОВАН на логах веб-сервера.

Не основан, а завязан - читай: использует логи Apache (наверняка и другие логи) для мониторинга. Ну и что в этом плохого?

Не основан, а завязан - читай: использует логи Apache (наверняка и другие логи) для мониторинга. Ну и что в этом плохого?

Зачем для этого модуль апача свой писать?

причины - исторические.
зарегался на мэйл.сру в 99 году.

так что переделка велосипедов дело сугубо корпоративное.

Зачем для этого модуль апача свой писать?

А ты не читал?

Since apache 2 common perl's warn write message to apache error_log, not to vhost's error_log.
And if you use L<Apache2::Log> you got something appended to your message (like date or client ip).
If you want to write raw logs, without any argument, this is for you

Откуда вы берётесь такие? 640k хватит всем.

А я не понял: и ОС тоже были 32 бит? Что это тогда за сервера с оперативкой в 4Гб и сколько же их было?

Да вон не все десктопы осиливают на 64 перевести даже...

Гентушечку же!

Я не знаток перла... Просветите почему

Например, первая строчка кода, приведенного ниже, отработает на разных архитектурах совершенно по-разному. my $crypted_userid = $user->{'ID'} ^ 41262125215; getpage('project_url_api?user_id='.$crypted_userid);

Вроде и не первое апреля.

1) 32х битные сервера в проде
2) мониторинг на апаче

И что ?

3) центос

У каждого свои недостатки (c) переводчик какой-то. :-)

4,6

Почему бы и нет ?

5)

Ну вот тут да, Апача сменить давно стоило.