В ЦОД Яндекса прилетело

Особенности современного IT :/

Современного? Напомнить вам кто и с какими требованиями разрабатывал «Интернет»?

Национального IT, по ту сторону тоже по ЦОДам прилетало вроде как. Все эти капиталисты не успокоятся, пока планету не угробят.

FYI https://status.yandex.cloud/ru/dashboard

+

https://status.yandex.cloud/ru/incidents/2092?retpath=%2Fru%2Ftimeline

никто не пострадал

Хорошо, что все хорошо закончилось.

Ну прилетело и прилетело.

А как же три(минимум) независимых географически разнесённых ДЦ, дублирующих друг-друга? Яндекс вроде немаленькая компания, должны думать о таком. Или у них такие объёмы данных, что это не получается сделать. Тогда ещё хуже. Это же потеря пользовательских данных выходит.

Пора к Яндекс.Самокату прикручивать Яндекс.Пулемёт ;)

Мне как раз очень недавно говорили, что я дурак и корячусь с self-hosted s3, когда парой кликов сделал бы в яндексе за небольшую сумму :)

Так ведь закон даже вышел о защите объектов критической инфраструктуры. А тут, похоже, выясняется, что Яндекс в число критических не входит?

Дублирующие не значит что там запас простаивающих мощностей в размере 1 цода.

Это если вдруг нагрузка возрастёт к праздникам, они там всем яндексом лягут? Звучит не очень-то надёжно.

Обычно дело не в мощностях, а в ширине канала между цодами - для репликации данных

Я не говорил, что они простаивают. Меня удивило, что их у яндекса нет.

Когда мне в одной крупной конторе приходилось работать как раз с системой из трёх ДЦ, в нормальном режиме работы мы, например, равномерно распределяли нагрузку между ними(не в ручном режиме, разумется, я как раз писал и настраивал часть системы этой автоматизации). И мы регулярно проводили учения, когда глушили(не физически, разумеется, просто по сети отрубали) один из ДЦ. Два штуки на моей памяти не глушили не разу, но, говорят, такие учения тоже бывали.

У ИТ-компаний отношение прибыли к затраченным вычислительным мощностям заметно меньше чем у обычных, поэтому наверно менее целесообразно так делать.

Хорошо разнесли, основательно. Под снос. А я думал ЦОД-ы так хорош не горят, железо же. А там смотрю трубы от газа, вот оно чо Михалыч!

В последние годы оказывается, что очень многие вещи хорошо горят, хотя от них такого и не ожидаешь.

Он работает немного не так, как кажется на первый взгляд.

не банк случаем ?)

Большой онлайн-магазин. )

В банке я тоже работал, там ситуация была схожая, но там я занимался другими задачами и о том, что я попал в ДЦ1 или ДЦN я узнавал только по FQDN хоста, на котором что-то выполнялось.

А как же три(минимум) независимых географически разнесённых ДЦ, дублирующих друг-друга? Яндекс вроде немаленькая компания, должны думать о таком. Или у них такие объёмы данных, что это не получается сделать. Тогда ещё хуже. Это же потеря пользовательских данных выходит.

Это сделано. Они ж вроде никаких данных не просрали, всё зареплицировано. Просто переключение занимает время. Плюс в яндексе постоянно были учения про потерю рандомного ДЦ, в ходе которых за некоторое количество часов его функционал подхватывается другими.

С чего в этом треде все разнылись и решили что у яндекса что-то там пропало в этом ДЦ? Оттуда всё уедет в другие постепенно, никаких данных скорее всего не просрётся.

Яндекс ведь на YDB во многом работает, а оно как раз построено вокруг переезда таблеток (и блоков слоя хранения NBS) куда попало и всё время держит несколько копий каждого блока (а таблетка внутри себя вообще данных не хранит, ей пох где подниматься).

Хорошо разнесли, основательно. Под снос. А я думал ЦОД-ы так хорош не горят, железо же. А там смотрю трубы от газа, вот оно чо Михалыч!

Откуда инфа как именно разнесли, если нигде даже фоток нет. Как ты там смотришь на трубы от газа с нами поделись тоже.

На ютубе показывают

С чего в этом треде все разнылись и решили что у яндекса что-то там пропало в этом ДЦ?

Я не ныл, что что-то пропало. Только предположил. Моё удивление вызвано тем, что у такой крупной компании, которая специализируется на предоставлении облачных услуг(среди прочего), нет дублирущих ДЦ для критичной инфраструктуры.

Оттуда всё уедет в другие постепенно

Это не дублирующий ДЦ. Это восстановление из бекапа. В первом случае идёт просто переключение и downtime нет. Второй как раз вот похоже на то, что сейчас происходит.

Моё удивление вызвано тем, что у такой крупной компании, которая специализируется на предоставлении облачных услуг(среди прочего), нет дублирущих ДЦ для критичной инфраструктуры.

Откуда инфа-то что нет чего-то там дублирующего, если яндекс только и делает что дублирует что-то постоянно и строит всякие БД как раз под это и ДЦ у него куча с репликми во всех…

То-то у многих вчера работа ЭДО слетела - люди как раз говорят, что этот датацентр этим занимался, помимо прочего.

Это не дублирующий ДЦ. Это восстановление из бекапа. В первом случае идёт просто переключение и downtime нет. Второй как раз вот похоже на то, что сейчас происходит.

А в этом смысле. Так это не нужно примерно никогда. Обычно у вас слой хранения отвязан от слоя вычисления и вы стараетесь все возможные доступные вычислительные ресурсы под что-то припахать с ходом времени. С ходом жизни постепенно выясняется, что «а чё это тут проц простаивает, давай и тут что-то запустим» и постепенно свободных процов нигде нет. Если щас по ДЦ гугла херануть любому, тот же эффект наступит.

Так это не нужно примерно никогда

Подумаешь вчера вся страна по продажам по честному знаку встала от отгрузок с заводов до розницы. Не нужно это, ага.

Оттуда, что учения в которых участвовал я, не было downtime. Выход ДЦ из строя и запуск всего, что было на нём - секунды. Это касалось всех сервисов: данные, логика, in-memory кеш, файлы и прочее.

дым и зеркала

хороший повод сделать апдейты требующие отключение от линии

Рад за наше, казахстанское министерство, которое в свое время Яндексу отключило зону yandex.kz, пока Яндекс не перенес данные казахстанских пользователей в Казахстан.

Ну Яндекс после 2х дней «блекаута» успешно перенесло данные в Казахстан.

нет дублирущих ДЦ для критичной инфраструктуры

Дублирующие ДЦ стоят денег и разово и ежемесячно. А менеджеры постоянно пытаются сократить расходы ИТ отдела, пока им на яйца эти сокращения расходов не наступит. Вроде экономии на антивирусе, пока шифровальщик клиентские данные не зашифрует.

Я конечно не работаю в яндекс, но экономию на самом базовом видел.

А менеджеры постоянно пытаются сократить расходы ИТ отдела…

Может они таким образом копят на «Эльбрус»?

Блин. Во второй цод яндекса прилетело, теперь Калуга

https://habr.com/ru/news/1092302/

С чего в этом треде все разнылись

Не все, но maxcom бдит и самолично удаляет посты благоволящих огненным стрелам Зевса-громовержца по рассаднику назойливой рекламы :)

елси брать капиталистов то они любом случае в плюсе. что с одной стороны, что с другой будут закупки, а там…
так что всегда «пока народ дерется, кто-то подсчитывает прибыль» :-/

Ну, значит это была не случайность. Учитывая, что ПАРТНЕРЫ любят систематичность и основательность, Яндексу привет горячий :)

елси брать капиталистов то они любом случае в плюсе

Ага да, любой капиталист, как только построит завод или дц, так сразу же начинает мечтать, чтоб он нахер сгорел.

Не удивлюсь, если вскоре подобные новости появятся про ЦОДы VK и Mail. Слишком очевидные цели.

неа… зачем нам свой гореть ?? нам свой гореть не надо !!
а вот соседа/конкурента/потребителя так пущай горит, хоть синим пламенем… оно то аккурат копеечкой в свой карманчик уйдет.

Выходит, что мало смысла от импортозамещения и суверенного интернета. Датацентры в РФ бомбить могут, а вот в США никто не посмеет.

что мало смысла от импортозамещения и суверенного интернета

Тут смысл заключался в том, чтобы если что ФСБ может иметь физический доступ к серверам в любой момент. А не про защиту какую-то

вот в США никто не посмеет

Иран ДЦ Amazon бомбил. Это конечно не прямо в США, а в ОАЭ было дело, в Бахрейне

Почему? Посмеют. Только не каждый может, больно дотуда далеко.

А за решением далеко ходить и не надо. Интернет создан, чтобы быть распределённым. Он и будет распределённым.

менеджеры постоянно пытаются сократить расходы ИТ отдела

а яндекс чем занимается то, собственно?

Я конечно не работаю в яндекс

продолжайте вести наблюдение.