LINUX.ORG.RU
ФорумTalks

Сказ о том, как в Google саппорт сервисы реанимирует

 


1

3

Сегодня Google выложила для скачивания новую книгу (верхняя в списке) из серии о проектировании безопасных и надежных систем, и в самой первой главе описан следующий забавный случай из практики компании.

В сентябре 2012 года компания разослала всем сотрудникам в своем кампусе в Сан-Франциско (тысячи человек) письмо. В нем сообщалось, что пароль к Wi-Fi сети, развернутой в циркулирующих по кампусу автобусах, с текущей даты изменен, и вот вам новый.

Для хранения различных паролей и прочих секретных ключей ко внешним и прочим сервисам в Google развернут собственный корпоративный сервис, куда почти одновременно и бросились тысячи человек. Никогда ранее не видавший (и не спроектированный для выдерживания) такого трафика сервис очень скоро прилег. Балансировщик перенаправил поток запросов на второй узел-реплику, но, естественно, прилегла и та.

Умный мониторинг распознал проблему и направил запрос в техподдержку с критичным статусом. Задача теперь легла на дежурного инженера в Нью-Йорке, который впервые в жизни столкнулся с отказом сервиса хранения паролей. Инженер решил просто его перезапустить, но даже не догадывался, что такое действие требует авторизации хардварным ключом (смарт-картой).

Смарт-карты для авторизации потенциально опасных и критичных действий хранятся в сейфах в разных офисах Google по всему миру, но именно в Нью-Йорке этой смарт-карты и не оказалось. Когда перезапуск сервиса завершился ошибкой, дежурный инженер связался со своим коллегой из Австралии, чтобы тот авторизовал перезапуск своей смарт-картой. Но здесь появилась новая проблема: комбинация для открытия сейфа на противоположном конце планеты хранилась как раз в упавшем сервисе, и на память ее не помнили. Но, по счастью, нашелся другой инженер в Сан-Франциско, который помнил шифр к своему сейфу. Он достал смарт-карту, вставил ее в кардридер, но получил ответ «Пароль не может быть считан с защитной карты».

В этом время в Австралии решили, что поскольку легла абсолютно критичная инфраструктура, теперь любые методы хороши. В итоге местные сотрудники раздобыли перфоратор и спустя час достали и свою смарт-карту, однако при попытке чтения и она выдавала то же сообщение об ошибке.

А спустя еще час коллективный разум осознал, что зеленый огонек на кардридере вовсе не означает, что смарт-карта вставлена нужной стороной. В итоге карту перевернули и злополучный сервис хранения паролей перезапустили. Естественно, после инцидента сам сервис претерпел существенные изменения.

★★★★★

А что, на смарт-картах верх и низ никак не различаются?

K50 ()

Спасибо за ссылку, скачал и залил на свой PocketBook. Почитаю на выходных.

Nurmukh ★★★ ()

Я тоже несколько раз попадал в похожие «квесты» прекрасным летним утром, когда ничего не предвещало беды. После этого понял что с дудкой пора завязывать.

T3M4 ()

местные сотрудники раздобыли перфоратор и спустя час достали и свою смарт-карту

Вспоминается, как я постоянно чуваку в l-t@c.j.r советовал купить перфоратор. :)

imul ★★★★★ ()
Ответ на: комментарий от WitcherGeralt

Достать перфоратор за час не проблема. Почему сейф перфоратором открывали, а не болгаркой? Вот это загадка.

imul ★★★★★ ()
Ответ на: комментарий от imul

Правильней пилить сейф газорезчиком. Болгаркой пилить такой металл удовольствие очень сомнительное. А правильным сверлом будет достаточно быстро.

Mac_is_for_fag ()
Ответ на: комментарий от WitcherGeralt

откуда они так быстро достали перфоратор

Это ж гугл, они ж как раз поиском занимаются.

ins3y3d ★★★★★ ()

Инженеры Google не водители маршрутки, чтобы не знать какой стороной карту вставлять. Это утка ради смеха. Не реальный случай.

xwicked ★★ ()
Ответ на: комментарий от Mac_is_for_fag

Газорезкой можно внутри все смарт-карты случайно сжечь, да и болгаркой, возможно, тоже. Хотя скорее всего, что первое нашли, тем и воспользовались.

ins3y3d ★★★★★ ()
Ответ на: комментарий от Mac_is_for_fag

Резал и сверлил сейфы?
Думаю, что газорезчик достать было проблематичнее.
А болгарка и дрель от меня в трёх метрах на полке в лежат.
Я как бы тоже далеко не теоретик.
Если не знать точно где сверлить, то болгаркой быстрее.

imul ★★★★★ ()
Ответ на: комментарий от ins3y3d

На самом деле, пофиг, как они вскрыли сейф, это запросто может быть художественным вымыслом для придания пикантости произошедшему.

Mac_is_for_fag ()
Ответ на: комментарий от Mac_is_for_fag

запросто может быть художественным вымыслом для придания пикантости произошедшему

Это точно!

imul ★★★★★ ()
Ответ на: комментарий от Mac_is_for_fag

Правильней пилить сейф газорезчиком.

Рискуя сжечь содержимое?

question4 ★★★★★ ()
Ответ на: комментарий от Mac_is_for_fag

какой «такой металл»?
дешёвые сейфы это просто железная коробка с замком , просто что бы ограничить несанкционированный доступ.

bloodmeri ()

Хорошие новости. Правда, я еще про SRE не дочитал.

urxvt ★★★★★ ()
Закрыто добавление комментариев для недавно зарегистрированных пользователей (со score < 50)