LINUX.ORG.RU

Интересные факты о работе дата-центров Google

 ,


0

0

На конференции Google I/O было представлено (http://news.cnet.com/8301-10784_3-995...) много интересных фактов о технической стороне работы дата-центров, обеспечивающих работу инфраструктуры Google.

Например:

  • Всего у Google в настоящий момент 36 дата-центров, в каждом более 150 стоек, по 40 серверов в каждой. Итого, по самым скромным подсчетам около 200 тысяч серверов (в 2000 году было 4000 серверов).
  • За первый год работы нового кластера, из 6 тыс. машин (150 стоек по 40 серверов) ломается около тысячи, фиксируется несколько тысяч отказов в работе жестких дисков.
  • При сбое одного блока распределения питания разом останавливается от 500 до 1000 машин, введение в строй которых продолжается около 6 часов.
  • После выключения 5% машин кластера, например из-за выхода из строя системы охлаждения, на восстановление уходит два дня.
  • Каждый момент от 40 до 80 машин кластера недоступны в сети.
  • В обслуживание одного типичного поискового запроса вовлекается от 700 до 1000 серверов.

>>> Подробности

Re: Интересные факты о работе дата-центров Google

Забавно.

SySAlex ()

Re: Интересные факты о работе дата-центров Google

Почему тег java? из-за того что сервы падают? зы: по ссылке не ходил

alo33 ()

Re: Интересные факты о работе дата-центров Google

> За первый год работы нового кластера, из 6 тыс. машин (150 стоек по 40 серверов) ломается около тысячи, фиксируется несколько тысяч отказов в работе жестких дисков.

Они что там, винты от WD используют???

deis ()

Re: Интересные факты о работе дата-центров Google

Мда, а я думал, у них там всё гораздо продуманнее и организованнее.

GFORGX ★★★ ()

Re: Интересные факты о работе дата-центров Google

А если представить что на всё это дело один бородатый админ... )))

PaulKaz ()

Re: Интересные факты о работе дата-центров Google

в ауте...

anonymous ()

Re: Интересные факты о работе дата-центров Google

> Почему тег java? из-за того что сервы падают? зы: по ссылке не ходил

Тэг java был по очень простой причине. В описаниях гугловых архитектур, в качестве платформы разработки мелькает частенько java. Где то читал (ссылку предоставить не могу, sorry), что было решение на основе hadoop (это как раз java) у гугля.

real_maverick ★★★ ()

Re: Интересные факты о работе дата-центров Google

> Они что там, винты от WD используют???

скорее сигейты новые :) А вобще там диски под постоянной нагрузкой, да и температура выше среднего, несмотря на кондиционеры

enby ★★ ()

Re: Интересные факты о работе дата-центров Google

честно говоря не впечатлило :). 500-1000 серверов поднять коммандой из 2-10 человек можно гораздо быстрее, проверено в различных российских датацентрах неоднократно :). Сначала все сервера включаешь, потом консольку туда где что-то по нагиосу не поднялось. автоматическое включение серверов включать нельзя т.к. при старте сервер жрёт больше всего энергии и пилоты будут срабатывать.

anonymous ()

Re: Интересные факты о работе дата-центров Google

> да и температура выше среднего, несмотря на кондиционеры

посмотри доки от гугла по хардам, там по этому поводу написано что прям такой зависимости от температуры нет. Да и откуда данные что у них повышенная температура?

anonymous ()
Ответ на: Re: Интересные факты о работе дата-центров Google от real_maverick

Re: Интересные факты о работе дата-центров Google

>Тэг java был по очень простой причине. В описаниях гугловых архитектур, в качестве платформы разработки мелькает частенько java. Где то читал (ссылку предоставить не могу, sorry), что было решение на основе hadoop (это как раз java) у гугля.

Hadoop - это конкурент bigtable от yahoo, так что гугл никак это не использует. Да и hadoop это не java.

anonymous ()

Re: Интересные факты о работе дата-центров Google

> Мда, а я думал, у них там всё гораздо продуманнее и организованнее.

У них всё очень продумано. Прекрасный пример, когда из ненадёжных компонентов строят надёжную систему.

Legioner ★★★★★ ()

Re: Интересные факты о работе дата-центров Google

> честно говоря не впечатлило :). 500-1000 серверов поднять коммандой из 2-10 человек можно гораздо быстрее, проверено в различных российских датацентрах неоднократно :). Сначала все сервера включаешь, потом консольку туда где что-то по нагиосу не поднялось. автоматическое включение серверов включать нельзя т.к. при старте сервер жрёт больше всего энергии и пилоты будут срабатывать.

Почитай про MapReduce, также рекомендую посмотреть какого размера кластеры поддерживает опенсорсный Hadoop, и сравнить с Гугловскими кластерами.

faustus ()

Re: Интересные факты о работе дата-центров Google

> Почитай про MapReduce, также рекомендую посмотреть какого размера кластеры поддерживает опенсорсный Hadoop, и сравнить с Гугловскими кластерами.

ты что курил? В данном случае "поднять" это не настроить а восстановить работу компов после сбоя по питанию.

anonymous ()

Re: Интересные факты о работе дата-центров Google

раньше читал что у них более 450k машин... и слабо верится что их кол-во уменьшилось.

anonymous ()

Re: Интересные факты о работе дата-центров Google

>Почитай про MapReduce, также рекомендую посмотреть какого размера кластеры поддерживает опенсорсный Hadoop, и сравнить с Гугловскими кластерами.

Hadoop уже успешно запустили на кластере из 2000 машин. И по своей архитектуре он вполне может жить и на гораздо больших кластерах.

Да, и почитай про Hadoop - он как раз и предоставляет сервис MapReduce вместе с аналогом гугловской распределённой файловой системы.

anonymous ()

Re: Интересные факты о работе дата-центров Google

> и как 40 обычных писюков в стойку запихать?

а что мешает в стойку 45u запихнуть? свитч 48 портов, 5 пилотов. 39 серверов остаётся. Если там блейд-сервера...

anonymous ()

Re: Интересные факты о работе дата-центров Google

Буду краток - с размахом!

ManJak ★★★★★ ()

Re: Интересные факты о работе дата-центров Google

Впечатлило

lystor ★★ ()

Re: Интересные факты о работе дата-центров Google

А все мелкой конторки МС боятся, а тут такое.

redgremlin ★★★★★ ()

Re: Интересные факты о работе дата-центров Google

>Всего у Google в настоящий момент 36 дата-центров, в каждом более 150 стоек, по 40 серверов в каждой. Итого, по самым скромным подсчетам около 200 тысяч серверов

36 * 150 * 40 = 216000 Шестьнадцатью тыщами больше, шестьнадцатью меньше .

anonymous ()

Re: Интересные факты о работе дата-центров Google

>честно говоря не впечатлило :). 500-1000 серверов поднять коммандой из 2-10 человек можно гораздо быстрее, проверено в различных российских датацентрах неоднократно :). Сначала все сервера включаешь, потом консольку туда где что-то по нагиосу не поднялось. автоматическое включение серверов включать нельзя т.к. при старте сервер жрёт больше всего энергии и пилоты будут срабатывать.

Гугл использует слегка модифицированную ext2. Машины там часто просто перезаливаются с нуля вместо ожидания, пока все поднимется и проверится. Так что это вполне ожидаемое время. Так что ваш опыт поднятия 1000 серверов здесь неактуален.

anonymous ()

Re: Интересные факты о работе дата-центров Google

> Так что ваш опыт поднятия 1000 серверов здесь неактуален.

Гадание на кофейной гуще. Ты сам не знаешь что они 6 часов делают.

anonymous ()

Re: Интересные факты о работе дата-центров Google

>Hadoop - это конкурент bigtable от yahoo, так что гугл никак это не использует. Да и hadoop это не java.

Зачем врать? Hadoop написан на java, и вовсе не от yahoo.

anonymous ()

Re: Интересные факты о работе дата-центров Google

> >Hadoop - это конкурент bigtable от yahoo, так что гугл никак это не использует. Да и hadoop это не java.

> Зачем врать? Hadoop написан на java, и вовсе не от yahoo.

Гм, простите не удержался от того, чтобы уточнить. Действительно, первый анонимус явно что-то недопонял.

1) Hadoop это не конкурент bigtable, потому что конкурент bigtable это HBase (недавно выделился в отдельный от hadoop проект) и Hypertable (сейчас в альфа стадии)

2) Hadoop это все таки java, даже если вам это не нравится

3) И он не от yahoo, yahoo стало его использовать

В общем:

http://wiki.apache.org/hadoop/

http://en.wikipedia.org/wiki/Hadoop

http://ru.wikipedia.org/wiki/Hadoop - правда по-русски весьма мало и на мой взгляд несколько коряво

Для тру (лень переводить):

Hadoop is a framework for running applications on large clusters built of commodity hardware. The Hadoop framework transparently provides applications both reliability and data motion. Hadoop implements a computational paradigm named Map/Reduce, where the application is divided into many small fragments of work, each of which may be executed or reexecuted on any node in the cluster. In addition, it provides a distributed file system (HDFS) that stores data on the compute nodes, providing very high aggregate bandwidth across the cluster. Both Map/Reduce and the distributed file system are designed so that node failures are automatically handled by the framework.

По теме: объемы конечно впечатляют.

Vark ()

Re: Интересные факты о работе дата-центров Google

Имхо, кластер из полумиллиарда китайцев и такого же индус-зеркала, вооруженых рисовой бумагой с чернилами сделал бы тоже самое, что и эти датацентры, только при этом не наносил бы окружающей среде столько вреда и работал бы он на рисе с кари.

AVL2 ★★★★★ ()

Re: Интересные факты о работе дата-центров Google

ёптваю.. сколько ж админов и прочих айтишников это все поддерживают. это ж сотни тысяч человек... мда. масштабы гугля впечатляют, но на чем они зарабатывают деньги - до сих пор не понял.

Komintern ★★★★★ ()

Re: Интересные факты о работе дата-центров Google

>1) Hadoop это не конкурент bigtable, потому что конкурент bigtable это HBase (недавно выделился в отдельный от hadoop проект) и Hypertable (сейчас в альфа стадии)

У него та же задача, что и у bigtable+mapreduce, яйца те же, вид другой.

>2) Hadoop это все таки java, даже если вам это не нравится

Я почему-то подумал, что hdfs не на java... Ошибся.

>3) И он не от yahoo, yahoo стало его использовать

Yahoo! has been the largest contributor. Первоначальный автор работает в yahoo над этим проектом (хотя он теперь какой-то директор), yahoo является главным спонсором.

anonymous ()

Re: Интересные факты о работе дата-центров Google

>ёптваю.. сколько ж админов и прочих айтишников это все поддерживают. это ж сотни тысяч человек... мда. масштабы гугля впечатляют, но на чем они зарабатывают деньги - до сих пор не понял

В гугле в прошлом году работало около 16 тысяч человек. IT около 3.

anonymous ()

Re: Интересные факты о работе дата-центров Google

>Hadoop - это конкурент bigtable от yahoo, так что гугл никак это не использует. Да и hadoop это не java.

Не использует, это точно. Однако использует java:

Apache Hadoop is a Free Java software framework that supports data intensive distributed applications running on large clusters of commodity computers. [1] It enables applications to easily scale out to thousands of nodes and petabytes of data. Hadoop was inspired by Google's MapReduce and Google File System (GFS) papers.

jackill ★★★★★ ()

Re: Интересные факты о работе дата-центров Google

>также рекомендую посмотреть какого размера кластеры поддерживает опенсорсный Hadoop

Насколько я помню, существует ограничение на размер данных отдельной машины, ограничиваемой размером ее файловой системы Что-то изменилось?

jackill ★★★★★ ()

Re: Интересные факты о работе дата-центров Google

>и как 40 обычных писюков в стойку запихать?

В оригинальной новости написано, что они заказывают у интела отдельные circuit boards и все впихивают в хитрые стойки.

jackill ★★★★★ ()

Re: Интересные факты о работе дата-центров Google

> У него та же задача, что и у bigtable+mapreduce, яйца те же, вид другой.

У Hadoop+Hbase таже задача, что и у bigtable+mapreduce - да, это так, но не у одного hadoop :) Если вы скачаете последний релиз Hadoop, то вы получите Hadoop+HDFS без HBase. Вы просто не точно выразились.

> Yahoo! has been the largest contributor. Первоначальный автор работает в yahoo над этим проектом (хотя он теперь какой-то директор), yahoo является главным спонсором.

Отсюда разве следует, что Hadoop от Yahoo ?

Вообще автор это Doug Cutting и он же автор например Lucene. Да, судя по всему Yahoo его давно спонсировало, но на постоянную работу к ним он пошел только весной 2006-го. Hadoop, судя по всему, зародился немного раньше:

MapReduce

Posted by tomwhite on September 25, 2005 at 10:36 PM | Comments (3)

Doug Cutting has done it again. The creator of Lucene and Nutch has implemented (with Mike Cafarella and others) a distributed platform for high volume data processing called MapReduce.

http://weblogs.java.net/blog/tomwhite/archive/2005/09/mapreduce.html

http://jeremy.zawodny.com/blog/archives/006471.html

http://en.wikipedia.org/wiki/Doug_Cutting

Ну а потом Yahoo попробовали Hadoop и им понравилось :)

Vark ()

Re: Интересные факты о работе дата-центров Google

> на чем они зарабатывают деньги - до сих пор не понял

Продают пришельцам с Антареса порцессорное время за золото.

А если серьезно - на рекламе у них все держится. И на некоторый платных услугах.

anonymous ()

Re: Интересные факты о работе дата-центров Google

> В оригинальной новости написано, что они заказывают у интела отдельные circuit boards и все впихивают в хитрые стойки.

мало того, там фотографии есть

anonymous ()

Re: Интересные факты о работе дата-центров Google

>Итого, по самым скромным подсчетам около 200 тысяч серверов

I say we take off and nuke the entire site from orbit. It's the only way to be sure.

anonymous ()

Re: Интересные факты о работе дата-центров Google

Интересная статистика, да..

MiracleMan ★★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.