LINUX.ORG.RU
Форум — Talks  

Микрософт опубликовали пост-мортем, что там у них произошло с офисом

 , , , ,


0

0

Причина - 3 совпавших обстоятельства:

  • Ошибка в обновлении Windows, которое в июле выкатили на шлюзовые серверы Microsoft 365. При определённой нагрузке внутренний процесс упирался в блокировку, съедал CPU и память, и сервер переставал отвечать. Три месяца этого никто не видел: тестовые стенды работали на более слабом железе с меньшим числом ядер, и нужная нагрузка там просто не воспроизводилась.
  • За 15 часов до сбоя трафик Teams автоматически перевели на основной шлюз, общий с Exchange Online. Обычное переключение, но нагрузка на шлюз выросла.
  • Около 14% серверов шлюза уже были отключены из-за отдельной проблемы накануне.

12 ноября в 16:20 UTC всё сошлось. За два часа перестали отвечать больше 80% серверов шлюза, региональные ограничители не помогли, и сбой стал глобальным.

Починка затянулась. После перезапуска серверы снова падали, как только приходил накопившийся трафик. Откат не работал: дефектное изменение стояло в проде месяцами. Пришлось писать и выкатывать исправление, возвращающее код обработки соединений к прежнему состоянию. Полностью сервисы вернулись 13 ноября около 16:10 UTC.

Для всех, кто строит инфраструктуру, урок: Тест на железе слабее продакшена может не показать проблему, которая проявится только на реальной нагрузке. А когда несколько мелких отклонений совпадают по времени, каждое по отдельности выглядит безобидно. Но если все случается одновременно...

Источники: https://wccftech.com/microsoft-reveals-root-cause-of-massive-microsoft-365-ou..., https://www.365fanatic.com/m365-outage-12-november-2026/

★★★★★

Последнее исправление: Lordwind (всего исправлений: 1)

ЯННП. Более слабое железо наоборот должно было уткнуться в потолок на более слабой нагрузке.

dimgel ★★★★★
()

Около 14% серверов шлюза уже были отключены из-за отдельной проблемы накануне.

Как-то неинформативно. Как-то очень мимоходом брошено - «отдельная проблема, не на что смотреть, граждане». Прям сразу ощущаю возросшее любопытство.

thesis ★★★★★
()
Последнее исправление: thesis (всего исправлений: 1)

Теперь знаем, что в MS нет нагрузочного тестирования. Уже давно как они поувольняли тестирование.

slew
()
Ответ на: комментарий от slew

Теперь знаем, что в MS нет нагрузочного тестирования.

Было, только воспроизвести продовую нагрузку в тестах часто бывает невозможно.

altwazar ★★★★★
()

Я и не знал что у мс что-то ломалось. Но история занимательная.

Для всех, кто строит инфраструктуру, урок:

Ещё надо урок для юзеров: не полагаться на эти так называемые облачные офисы.

firkax ★★★★★
()
Ответ на: комментарий от tiinn

Нагрузочное тестирование считается более сложным, чем функциональное. Ну и оплачивается лучше. Наверное поэтому ГПБ разогнал весь отдел нагрузочников и перевесил их задачи на разрабов

Lordwind ★★★★★
() автор топика

Причина - 3 совпавших обстоятельства

Почему 3 то, там вроде одно

обновлении Windows, которое в июле выкатили на шлюзовые серверы

ya-betmen ★★★★★
()
Ответ на: комментарий от ya-betmen

всё было бы нормально, если бы юзеры постигли дзен и снизили бы нагрузку на сервера мелкомягких

tiinn ★★★★★
()
Ответ на: комментарий от altwazar

Ну как невозможно? Правильнее говорить - дорого. Но все же любят кулстори в духе как из пластиковых бутылок и хвороста сделать ракету для запуска кубсатов

cobold ★★★★★
()
Ответ на: комментарий от tiinn

Пон. У мелкомягких нет возможности заблокировать часть трафика и разблокировать постепенно

cobold ★★★★★
()

До этого я думал, что оффтопик в качестве шлюза пользуют только малолетние имбицилы и админы престарелого возраста. Но оказывается производители тоже юзают.

anc ★★★★★
()
Ответ на: комментарий от altwazar

Теперь знаем, что в MS нет нагрузочного тестирования.

Было, только воспроизвести продовую нагрузку в тестах часто бывает невозможно.

Вот это и означает, что нагрузочного тестирования небыло.

anc ★★★★★
()
Ответ на: комментарий от dimgel

Так на более мощное железо и нагрузку побольше дают. Есть у тебя спинлок в какой-нибудь структуре данных, который работает с приемлемой скоростью на 12 ядерном проце и условно 100 потоках а на 52 ядерном и 500 потоках латенси взлетает до небес

cobold ★★★★★
()

пользователи

Microsoft 365

должны страдать.

thunar ★★★★★
()
Последнее исправление: thunar (всего исправлений: 2)

Microsoft 365

Главный вопрос, они уже переименовались в Microsoft 364?

Dimez ★★★★★
()
Ответ на: комментарий от anc

Майки раньше прикрывали свой exchange postfix’ом, а сайты - proxy/isa серверами, а тут надо же, уверились в себе и забыли про A/B тестирование :)

Dimez ★★★★★
()

За 15 часов до сбоя трафик Teams автоматически перевели на основной шлюз, общий с Exchange Online.

Какие-то корреляции выстреливают в мозгу. Первым симптомом проблем лично у меня была странная мессага, показываемая MS Teams, что он не может синхронизировать календари.

Для всех, кто строит инфраструктуру, урок: Тест на железе слабее продакшена может не показать проблему, которая проявится только на реальной нагрузке.

Это всё правильно, но проблема в том, что на «такой же прод, только для тестов» нет бюджетов. Потому что цель коммерции - извлечение прибыли. А какие серьёзные, общественно-опасные последствия данного отвала мы наблюдали? Какие-то нарушения в функционировании аэропортов? Но самолётам пофиг на облака. Пострадали те бизнесы, у которых вся айтишечка в облаках. Вроде даже сама фича коммуникации по МС Тимс не отвалилась (в отличие от почты).

seiken ★★★★★
()
Ответ на: комментарий от Aceler

Конечно странно, уж кому как не им знать особенности этого.

anc ★★★★★
()

Тест на железе слабее продакшена может не показать проблему, которая проявится только на реальной нагрузке

никто не будет делать полную копию прода (ну, разве что банки и то далеко не все). это дорого и бессмысленно. синтетический нагрузочный трафик не гарантирует проявление баги в проде. в реальности, нужно выстраивать процессы реагировании и быстрофиксов.

PS сам не раз ловил баги в проде, которые были совокупностью двух мелких и независимых. механизм ролбеков должен работать как часы и стратегия отката должна прикладываться к каждому релизу. только так можно минимизировать blast radius. избежать подобные баги - из области фантастики

ergo ★★★★
()
Ответ на: комментарий от firkax

Ещё надо урок для юзеров: не полагаться на эти так называемые облачные офисы.

Этому уроку столько же лет, сколько самим этим сервисам. И чо.

dimgel ★★★★★
()
Ответ на: комментарий от ergo

никто не будет делать полную копию прода

У нас стенды почти полностью копируют окружение прода. Ядра немного другие, для кафки кластеры попроще, мониторинг другой. Но функционально это копия, причем у каждого сотрудника своя, изолированная. Это дорого, но не бессмысленно.

Lordwind ★★★★★
() автор топика
Ответ на: комментарий от Dimez

Скорее они настолько много трындели из каждого утюга о том как у них все зашибись, что выросло поколение с верой в это :)

anc ★★★★★
()
Ответ на: комментарий от dimgel

Ещё надо урок для юзеров: не полагаться на эти так называемые облачные офисы.

Этому уроку столько же лет, сколько самим этим сервисам. И чо.

Золотые слова! Знал одного юзера который дважды на одни грабли наступил. Точнее есть ещё и вторые над которыми он занес ногу, момент наступания может произойти, может не произойти, а может он уже давно наступил, но он не знает об этом.

anc ★★★★★
()
Ответ на: комментарий от ergo

у вас прод маленький

Ну не сбер конечно, но 15+ лямов MAU есть и лярд уведомлений в месяц. И судя по сокращениям казна пустеет, милорд.

Lordwind ★★★★★
() автор топика

Сказал бы хоть, что за казус случился в этот раз, как будто тут много кто этой шляпой пользуется. Как я понял, офис 365 загнулся на два дня? Ну тк кто эту шляпу употребляет - ССЗБ.

Bfgeshka ★★★★★
()
Ответ на: комментарий от gagarin0

| 1985 - ???? |

Знаки вопроса зависят исключительно от производителей ПО которое клепают его под винду онлу.

anc ★★★★★
()
Ответ на: комментарий от Lordwind

лярд уведомлений в месяц

Это чуть меньше 400msg/sec. Это не нагрузка. Но когда я говорил про «прод маленький» это было про размер/сложность.

ergo ★★★★
()
Вы не можете добавлять комментарии в эту тему: только для зарегистрированных, score>=50.