На конференции Google I/O было представлено (http://news.cnet.com/8301-10784_3-995...) много интересных фактов о технической стороне работы дата-центров, обеспечивающих работу инфраструктуры Google.

Например:

• Всего у Google в настоящий момент 36 дата-центров, в каждом более 150 стоек, по 40 серверов в каждой. Итого, по самым скромным подсчетам около 200 тысяч серверов (в 2000 году было 4000 серверов).
• За первый год работы нового кластера, из 6 тыс. машин (150 стоек по 40 серверов) ломается около тысячи, фиксируется несколько тысяч отказов в работе жестких дисков.
• При сбое одного блока распределения питания разом останавливается от 500 до 1000 машин, введение в строй которых продолжается около 6 часов.
• После выключения 5% машин кластера, например из-за выхода из строя системы охлаждения, на восстановление уходит два дня.
• Каждый момент от 40 до 80 машин кластера недоступны в сети.
• В обслуживание одного типичного поискового запроса вовлекается от 700 до 1000 серверов.

>>> Подробности (opennet.ru)

Одному любителю сделать что-нибудь в 3D надоело ждать окончания рендеринга своих сцен и он на шести процессорах Intel Quad-Core 2.4 Ghz собрал в своей квартире render-farm в виде 24-ядерного кластера с 48 Gb памяти. Интересной фишкой системы, названной Red Helmer, является изготовление единого корпуса из мебели IKEA, Helmer cabinet, которая оказалась неплохо совместима по размерам c ATX. По ссылке красочно и с иллюстрациями описан процесс создания системы. В качестве ОС используется Fedora 8. Результатом автор доволен. Немаловажно, что ему удалось добиться низкого энергопотребления, около 800 Вт, а сцена, считавшаяся на MacPro 2 x DualCore Xeon 2.66 Ghz с 4 Gb 552 минуты, теперь обсчитывается за 64 минуты. Средняя производительность системы около 186 GFlops, но есть планы построения в 64 раза более производительной системы.

>>> Подробности (sfe.se)

11 апреля 2008 Владимирским Государственным Университетом, компанией "Т-Платформы",
Программных Систем РАН и корпорация Intel было объявлено об открытии в университете
кластера семейства "СКИФ"

Основные характеристики:
Количество узлов : 64
Количество процессоров: 128 (Intel® Xeon® 5345)
Объем оперативной памяти: 512Gb
Сеть передачи данных: InfiniBand
Операционная система: SUSE Linux Enterprise Server 10 SP1

Пиковая производительность «СКИФ Мономах» составила 4,7 TFlops.

>>> Подробности (citcity.ru)

Иван Блинков подготовил материал об архитектуре LiveJournal, одного из первых сервисов, бесплатно предоставляющих всем желающим личный блог. На данный момент система поддерживает работоспособность более 15 миллионов блогов, а залогом ее успеха является успешное сочетание готовых opensource решений с продуктами, написанными специально для этого проекта.

>>> Подробности (insight-it.ru)

Google запустил в тестовом режиме Google App Engine. Google App Engine - это инструментарий, позволяющий создавать масштабируемые приложения, использующие инфраструктуру Google - BigTable, GFS, а также сам хостинг для таких приложений. Google App Engine позволяет разработчикам писать приложения на Python с использованием Django, PyYAML и webob. Также GAE позволяет использовать любые модули, написанные на Python. Приложения работают в песочнице (sandbox) на кластерах Google и не могут обращаться к сокетам, файлам и вообще функциям, которые воздействуют на ОС сервера, т.к. неизвестно, на какой машине из кластера приложение будет выполняться. Для хранения информации используется "datastore" (скорее всего, внутренне представляющее из себя те самые GFS и BigTable), а для доступа к внешним URL - специальное API. Тестирование бесплатное, но ограничено первыми 10000 разработчиками.

>>> Подробности (google.com)

За первоапрельскими шутками прошёл незамеченным выход версии 1.0 языка программирования Fortress - спецификации и экспериментальной реализации.

Язык Fortress разрабатывается компанией Sun Microsystems уже почти три года. Разработка начиналась в рамках инициативы министерства обороны США - программы DARPA HPCS, давшей начало также языкам X10 (IBM) и Chapel (Cray). В 2006 году финансирование из источников DARPA было прекращено, и с 2007 года проект развивается по модели Open Source. "Отцом" Fortress является Guy L. Steele, Jr. - человек, в своё время разработавший язык Scheme.

Fortress позиционируется как язык для высокопроизводительных параллельных вычислений, в некотором роде замена Fortran. Fortress - мультипарадигменный язык, сочетающий в себе черты объектно-ориентированных и функциональных языков, динамически типизированный (с выведением типов), учитывающий специфику параллельных вычислений на уровне семантики языка (автоматическое распараллеливание циклов for и т.п.). Поддерживаются lambda-выражения, замыкания, хвостовая рекурсия. Из инновационных свойств - активное использование Unicode в исходных текстах, за счёт этого - максимальное приближение текста к математической нотации; использование размерностей. По словам авторов, семантически Fortress ближе всего к Java, а синтаксисом больше всего напоминает Scala, Standard ML и Haskell.

Версия 1.0 включает в себя спецификацию и интерпретатор Fortress, написанный на Java. По словам разработчиков, некоторые "killer features" пришлось исключить из спецификации, так как они требуют дальнейшего исследования, но в то же время очень важно, чтобы спецификация и интерпретатор находились в полном соответствии. Интерпретатору сопутствуют также Emacs mode для Fortress и инструмент Fortify для представления исходных текстов в LaTeX.

Сообщение о старте проекта Fortress в 2005 году было встречено на linux.org.ru горячими дискуссиями, и хочется верить, что интерес сообщества к данной разработке только возрос.

Сайт проекта: http://projectfortress.sun.com

>>> Сообщение о выходе Fortress 1.0 (gmane.org)

Иван Блинков перевел статью об архитектуре системы, лежащей в основе одного из самых популярных социальных ресурсов Digg.com. Она построена на классической четверке LAMP, использованной в совокупности с APC PHP Accelerator, Memcached и поисковой библиотеки Lucene.

>>> Подробности (insight-it.ru)

Небольшой перевод выдержки из пресс-релиза:

GridSQL – система организации распределенных баз данных, полностью интегрированная с такими продуктами компании, как EnterpriseDB's Postgres Plus и Postgres Plus Advanced Server. Также работает и с открытой РСУБД PostgreSQL. Используя GridSQL, производительность базы данных масштабируется практически линейно при добавлении дополнительных серверов. Для облегчения управления, GridSQL включает приличный пакет графических утилит мониторинга и управления системой, которые позволяют администратору баз данных осуществлять мониторинг всей системы из единой точки доступа.

Поскольку GridSQL использует реальную GRID-технологию, которая распределяет данные и эффективно использует ресурсы СУБД, приложения не требуют переписывания и могут быть написаны так, как будто они работают с единым сервером баз данных. Все задачи распределения запросов по серверам выполняются прозрачно ядром GridSQL.

>>> Подробности (marketwire.com)

Филиппинская служба слежения за погодой (PAGASA), занимающаяся предсказанием тайфунов, цунами и т.п. использовала восьмикомпьютерный кластер под управлением Debian GNU/Linux для замены суперкомпьютера от SGI. В результате чего система, обрабатывающая данные из локальной и глобальной телекоммуникационной системы, снизила ежемесячные затраты на своё функционирование в 20 раз.

>>> Подробности (idg.com.au)

Иван Блинков выполнил перевод статьи, посвященной устройству высоконагруженной системы, лежащей в основе популярного сервиса YouTube. На этот раз речь ведется об архитектуре сервиса YouTube, с которого ежедневно загружают более 100 миллионов видеороликов.

Основой этой системы служит LAMP, где в роли буквы P выступает Python, для отдачи видео используется lighttpd, а балансировка нагрузки осуществляется средствами NetScalar.

>>> Архитектура YouTube (insight-it.ru)

Калифорнийская компания SGI, которая является одним из ведущих производителей суперкомпьютеров, 14 февраля объявила о приобретении Linux Networx (LNXI). Основная специализация LNXI - разработка кластеров для высокопроизводительных вычислений (high-performance computing, HPC) на базе Linux.

В текущем списке top500.org присутствуют 22 решения от SGI и 9 от LNXI.

>>> Подробности (eweek.com)

Вышла очередная версия (2.0) продукта GridGain.

GridGain - это Open Source продукт промышленного уровня, написанный на Java и реализующий в полной мере концепцию распределённых вычислений (grid-системы), предоставляя разработчику возможность как полного управления процессом вычисления, так и возможность всего одной строкой кода перенести вычисления на другой компьютер.

Разработчики утверждают, что, используя сторонние библиотеки, есть возможность интеграции продукта и в .Net приложения.

Доступны версии для Linux, MacOs, Windows.

>>> новость на сайте продукта (gridgain.com)

Иван Блинков выполнил перевод статьи об устройстве архитектуры высоконагруженного сервиса размещения фотографий Flickr.

>>> Подробнее (insight-it.ru)

МГУ имени Ломоносова и корпорация IBM обнародовали подробности своего соглашения о поставке Blue Gene/P факультету Вычислительной математики и кибернетики. Это будет первый суперкомпьютер Blue Gene в России для исследований в области нанотехнологий, новых материалов и медицины.

Ректор университета Виктор Садовничий заявил, что, как ведущий ВУЗ России, МГУ очень горды тем, что смогут присоединиться к ведущим исследовательским огранизациям для решения научных проблем, связанных с большой потребностью в вычислительных ресурсах - начиная от астрофизики и заканчивая молекулярным моделированием.

МГУ приобретает 2 стойки с 8 192 процессорами, пиковая производительность которых составит 27.8 Тфлопс, что в 2 600 раз быстрее современного десктопа. Это позволит ВУЗу с Blue Gene войти в TOP50 суперкомпьютеров мира.

>>> Подробности (reuters.com)

Российская компания «Т-Платформы» заявила о начале разработки программы «exCellenT-Platforms». Компания планирует разрабатывать и внедрять собственные решения на базе процессоров IBM CELL Broadband Engine в отечественных программных разработках. Возможно, это поможет развитию российской науки.

В рамках программы "exCellenT-Platforms" будет собран дистрибутив операционной системы Linux, оптимизированный под Cell процессоры. Разработка будет представлять собой 2-х процессорный "тонкий сервер"(1U), позволяющей подключать стандартные периферийные устройства (PCI-Express).

В рамках программы будут разработаны и выведены на рынок России и СНГ решения, позволяющие многократно увеличить производительность целого ряда прикладных приложений.

>>> Подробности (t-platforms.ru)

Уфа, 19 декабря 2007 года — Уфимский государственный авиационный технический университет (УГАТУ), компания АйТи, IBM и корпорация Intel объявили о запуске самого мощного суперкомпьютера в России, построенного на основе blade-серверов IBM.

Суперкомпьютер будет использоваться в инновационной программе обучения «Компьютерное моделирование с применением суперкомпьютерных технологий», а также в преподавании других дисциплин, связанных с информационными технологиями, параллельным программированием и компьютерным моделированием.

Основу суперкомпьютера УГАТУ составляют 266 blade-серверов IBM на базе 532 четырехъядерных процессоров Intel® Xeon® серии 5345. Расчетная пиковая производительность суперкомпьютера составляет 20 Тфлопс.

В суперкомпьютере УГАТУ использованы операционные системы Red Hat Enterprise Linux 4 AS/WS и специализированное ПО управления кластерными системами IBM

>>> Подробности (it.ru)

Сотрудники компании IBM изобрели новый электрооптический модулятор, размещаемый прямо на кремниевом чипе, который физически в 100-1000 раз меньше существующих аналогов, что вкупе с уже существующими демодуляторами и коммутаторами позволит энергетически эффективно и на скоростях порядка 10 гигабит/с на одну линию, связывать отдельные процессорные ядра, размещаемые на одном или нескольких кристаллах, между собой.

Что немаловажно, технология обещает быть и достаточно дешёвой.

Таким образом, вполне вероятно, что традиционные кластеры очень скоро отправятся в утиль.

Membrana

Cnews

>>> Официальный пресс-релиз IBM (английский!) (ibm.com)

Появился новый лидер в тесте производительности TPC-H для кластерных решений. Эта база данных не занимается организацией хранилища данных - для этого она использует обычные RDBMS, все что она делает - это управляет структурой данных, партишенингом и распаралеливает запросы. В тестах с базой до 100GB PADB в 7 раз быстрее и цена транзакции в 30 раз меньше ближайшего конкурента (eServer/DB2/SUSE)! PADB совместима со стандартами SQL92/ODBC/JDBC. Существует 2 режима работы: в памяти (до 2х терабайт) и с неогранниченными хранилищами на дисках. Может работать в 2х конфигурациях Amigo (в качестве бэкэнда Oracle или MSSQL) и Maverick - standalone решение, которое собственно и учавствовало в TPC.

Что же там внутри? Многие удивятся, но внутри там, на железе SunFire X4100, работает RHEL4 и... PostgreSQL!

PADB: http://www.paraccel.com/

>>> TPC.ORG (tpc.org)

Компания Cray представила новое поколение компьютеров под названием XT5, в которых применяются 8-процессорные blade-серверы, поддерживающие установку чипов AMD Opteron, в том числе, новых четырехъядерных процессоров с кодовым названием Barcelona. В шести стойках при этом могут быть размещены до 1112 чипов Opteron, обеспечивающих производительность в 43 терафлопса (триллиона операций с плавающей запятой в секунду). По сравнению с предыдущими суперкомпьютерами серии ХТ, новые вычислительные комплексы обеспечивают вдвое более высокую плотность размещения процессоров и значительное повышение производительности в расчете на ватт энергии. Кроме того системы ХТ5 на сегодняшний день являются самыми масштабируемыми суперкомпьютерами под управлением операционной системы Linux, которые предоставляют оптимальную производительность для широкого спектра приложений.

>>> Подробности (cray.com)

Гаурав Кханна (Gaurav Khanna) из Массачуссетского университета создал небольшой вычислительный кластер на базе 8 игровых консолей Sony PlayStation 3. Называется сие творение Gravity Grid и используется для численного моделирования процессов, происходящих при слиянии двойных чёрных дыр.

Основой PS3 является высокопроизводительный (в определённом классе задач) Cell processor, благодаря чему на неё обращают внимание даже некоторые проекты распределённых вычислений, такие как Folding@home. Относительная открытость платформы PS3 предоставляет широкий простор для её "нетрадиционного" использования.

Управляет мини-кластером, естественно, Linux.

>>> Подробности (wired.com)