11 апреля 2008 Владимирским Государственным Университетом, компанией "Т-Платформы",
Программных Систем РАН и корпорация Intel было объявлено об открытии в университете
кластера семейства "СКИФ"
Основные характеристики:
Количество узлов : 64
Количество процессоров: 128 (Intel® Xeon® 5345)
Объем оперативной памяти: 512Gb
Сеть передачи данных: InfiniBand
Операционная система: SUSE Linux Enterprise Server 10 SP1
Пиковая производительность «СКИФ Мономах» составила 4,7 TFlops.
Иван Блинков подготовил материал об архитектуре LiveJournal, одного из первых сервисов, бесплатно предоставляющих всем желающим личный блог. На данный момент система поддерживает работоспособность более 15 миллионов блогов, а залогом ее успеха является успешное сочетание готовых opensource решений с продуктами, написанными специально для этого проекта.
Google запустил в тестовом режиме Google App Engine. Google App Engine - это инструментарий, позволяющий создавать масштабируемые приложения, использующие инфраструктуру Google - BigTable, GFS, а также сам хостинг для таких приложений. Google App Engine позволяет разработчикам писать приложения на Python с использованием Django, PyYAML и webob. Также GAE позволяет использовать любые модули, написанные на Python. Приложения работают в песочнице (sandbox) на кластерах Google и не могут обращаться к сокетам, файлам и вообще функциям, которые воздействуют на ОС сервера, т.к. неизвестно, на какой машине из кластера приложение будет выполняться. Для хранения информации используется "datastore" (скорее всего, внутренне представляющее из себя те самые GFS и BigTable), а для доступа к внешним URL - специальное API. Тестирование бесплатное, но ограничено первыми 10000 разработчиками.
За первоапрельскими шутками прошёл незамеченным выход версии 1.0 языка программирования Fortress - спецификации и экспериментальной реализации.
Язык Fortress разрабатывается компанией Sun Microsystems уже почти три года. Разработка начиналась в рамках инициативы министерства обороны США - программы DARPA HPCS, давшей начало также языкам X10 (IBM) и Chapel (Cray). В 2006 году финансирование из источников DARPA было прекращено, и с 2007 года проект развивается по модели Open Source. "Отцом" Fortress является Guy L. Steele, Jr. - человек, в своё время разработавший язык Scheme.
Fortress позиционируется как язык для высокопроизводительных параллельных вычислений, в некотором роде замена Fortran. Fortress - мультипарадигменный язык, сочетающий в себе черты объектно-ориентированных и функциональных языков, динамически типизированный (с выведением типов), учитывающий специфику параллельных вычислений на уровне семантики языка (автоматическое распараллеливание циклов for и т.п.). Поддерживаются lambda-выражения, замыкания, хвостовая рекурсия. Из инновационных свойств - активное использование Unicode в исходных текстах, за счёт этого - максимальное приближение текста к математической нотации; использование размерностей. По словам авторов, семантически Fortress ближе всего к Java, а синтаксисом больше всего напоминает Scala, Standard ML и Haskell.
Версия 1.0 включает в себя спецификацию и интерпретатор Fortress, написанный на Java. По словам разработчиков, некоторые "killer features" пришлось исключить из спецификации, так как они требуют дальнейшего исследования, но в то же время очень важно, чтобы спецификация и интерпретатор находились в полном соответствии. Интерпретатору сопутствуют также Emacs mode для Fortress и инструмент Fortify для представления исходных текстов в LaTeX.
Сообщение о старте проекта Fortress в 2005 году было встречено на linux.org.ru горячими дискуссиями, и хочется верить, что интерес сообщества к данной разработке только возрос.
Иван Блинков перевел статью об архитектуре системы, лежащей в основе одного из самых популярных социальных ресурсов Digg.com. Она построена на классической четверке LAMP, использованной в совокупности с APC PHP Accelerator, Memcached и поисковой библиотеки Lucene.
GridSQL – система организации распределенных баз данных, полностью интегрированная с такими продуктами компании, как EnterpriseDB's Postgres Plus и Postgres Plus Advanced Server. Также работает и с открытой РСУБД PostgreSQL. Используя GridSQL, производительность базы данных масштабируется практически линейно при добавлении дополнительных серверов. Для облегчения управления, GridSQL включает приличный пакет графических утилит мониторинга и управления системой, которые позволяют администратору баз данных осуществлять мониторинг всей системы из единой точки доступа.
Поскольку GridSQL использует реальную GRID-технологию, которая распределяет данные и эффективно использует ресурсы СУБД, приложения не требуют переписывания и могут быть написаны так, как будто они работают с единым сервером баз данных. Все задачи распределения запросов по серверам выполняются прозрачно ядром GridSQL.
Филиппинская служба слежения за погодой (PAGASA), занимающаяся предсказанием тайфунов, цунами и т.п. использовала восьмикомпьютерный кластер под управлением Debian GNU/Linux для замены суперкомпьютера от SGI. В результате чего система, обрабатывающая данные из локальной и глобальной телекоммуникационной системы, снизила ежемесячные затраты на своё функционирование в 20 раз.
Иван Блинков выполнил перевод статьи, посвященной устройству высоконагруженной системы, лежащей в основе популярного сервиса YouTube. На этот раз речь ведется об архитектуре сервиса YouTube, с которого ежедневно загружают более 100 миллионов видеороликов.
Основой этой системы служит LAMP, где в роли буквы P выступает Python, для отдачи видео используется lighttpd, а балансировка нагрузки осуществляется средствами NetScalar.
Калифорнийская компания SGI, которая является одним из ведущих производителей суперкомпьютеров, 14 февраля объявила о приобретении Linux Networx (LNXI). Основная специализация LNXI - разработка кластеров для высокопроизводительных вычислений (high-performance computing, HPC) на базе Linux.
В текущем списке top500.org присутствуют 22 решения от SGI и 9 от LNXI.
GridGain - это Open Source продукт промышленного уровня, написанный на Java и реализующий в полной мере концепцию распределённых вычислений (grid-системы), предоставляя разработчику возможность как полного управления процессом вычисления, так и возможность всего одной строкой кода перенести вычисления на другой компьютер.
Разработчики утверждают, что, используя сторонние библиотеки, есть возможность интеграции продукта и в .Net приложения.
МГУ имени Ломоносова и корпорация IBM обнародовали подробности своего соглашения о поставке Blue Gene/P факультету Вычислительной математики и кибернетики. Это будет первый суперкомпьютер Blue Gene в России для исследований в области нанотехнологий, новых материалов и медицины.
Ректор университета Виктор Садовничий заявил, что, как ведущий ВУЗ России, МГУ очень горды тем, что смогут присоединиться к ведущим исследовательским огранизациям для решения научных проблем, связанных с большой потребностью в вычислительных ресурсах - начиная от астрофизики и заканчивая молекулярным моделированием.
МГУ приобретает 2 стойки с 8 192 процессорами, пиковая производительность которых составит 27.8 Тфлопс, что в 2 600 раз быстрее современного десктопа. Это позволит ВУЗу с Blue Gene войти в TOP50 суперкомпьютеров мира.
Российская компания «Т-Платформы» заявила о начале разработки программы «exCellenT-Platforms». Компания планирует разрабатывать и внедрять собственные решения на базе процессоров IBM CELL Broadband Engine в отечественных программных разработках. Возможно, это поможет развитию российской науки.
В рамках программы "exCellenT-Platforms" будет собран дистрибутив операционной системы Linux, оптимизированный под Cell процессоры. Разработка будет представлять собой 2-х процессорный "тонкий сервер"(1U), позволяющей подключать стандартные периферийные устройства (PCI-Express).
В рамках программы будут разработаны и выведены на рынок России и СНГ решения, позволяющие многократно увеличить производительность целого ряда прикладных приложений.
Уфа, 19 декабря 2007 года — Уфимский государственный авиационный технический университет (УГАТУ), компания АйТи, IBM и корпорация Intel объявили о запуске самого мощного суперкомпьютера в России, построенного на основе blade-серверов IBM.
Суперкомпьютер будет использоваться в инновационной программе обучения «Компьютерное моделирование с применением суперкомпьютерных технологий», а также в преподавании других дисциплин, связанных с информационными технологиями, параллельным программированием и компьютерным моделированием.
Основу суперкомпьютера УГАТУ составляют 266 blade-серверов IBM на базе 532 четырехъядерных процессоров Intel® Xeon® серии 5345. Расчетная пиковая производительность суперкомпьютера составляет 20 Тфлопс.
В суперкомпьютере УГАТУ использованы операционные системы Red Hat Enterprise Linux 4 AS/WS и специализированное ПО управления кластерными системами IBM
Сотрудники компании IBM изобрели новый электрооптический модулятор, размещаемый прямо на кремниевом чипе, который физически в 100-1000 раз меньше существующих аналогов, что вкупе с уже существующими демодуляторами и коммутаторами позволит энергетически эффективно и на скоростях порядка 10 гигабит/с на одну линию, связывать отдельные процессорные ядра, размещаемые на одном или нескольких кристаллах, между собой.
Что немаловажно, технология обещает быть и достаточно дешёвой.
Таким образом, вполне вероятно, что традиционные кластеры очень скоро отправятся в утиль.
Появился новый лидер в тесте производительности TPC-H для кластерных решений. Эта база данных не занимается организацией хранилища данных - для этого она использует обычные RDBMS, все что она делает - это управляет структурой данных, партишенингом и распаралеливает запросы. В тестах с базой до 100GB PADB в 7 раз быстрее и цена транзакции в 30 раз меньше ближайшего конкурента (eServer/DB2/SUSE)! PADB совместима со стандартами SQL92/ODBC/JDBC. Существует 2 режима работы: в памяти (до 2х терабайт) и с неогранниченными хранилищами на дисках. Может работать в 2х конфигурациях Amigo (в качестве бэкэнда Oracle или MSSQL) и Maverick - standalone решение, которое собственно и учавствовало в TPC.
Что же там внутри? Многие удивятся, но внутри там, на железе SunFire X4100, работает RHEL4 и... PostgreSQL!
Компания Cray представила новое поколение компьютеров под названием XT5, в которых применяются 8-процессорные blade-серверы, поддерживающие установку чипов AMD Opteron, в том числе, новых четырехъядерных процессоров с кодовым названием Barcelona. В шести стойках при этом могут быть размещены до 1112 чипов Opteron, обеспечивающих производительность в 43 терафлопса (триллиона операций с плавающей запятой в секунду). По сравнению с предыдущими суперкомпьютерами серии ХТ, новые вычислительные комплексы обеспечивают вдвое более высокую плотность размещения процессоров и значительное повышение производительности в расчете на ватт энергии. Кроме того системы ХТ5 на сегодняшний день являются самыми масштабируемыми суперкомпьютерами под управлением операционной системы Linux, которые предоставляют оптимальную производительность для широкого спектра приложений.
Гаурав Кханна (Gaurav Khanna) из Массачуссетского университета создал небольшой вычислительный кластер на базе 8 игровых консолей Sony PlayStation 3. Называется сие творение Gravity Grid и используется для численного моделирования процессов, происходящих при слиянии двойных чёрных дыр.
Основой PS3 является высокопроизводительный (в определённом классе задач) Cell processor, благодаря чему на неё обращают внимание даже некоторые проекты распределённых вычислений, такие как Folding@home. Относительная открытость платформы PS3 предоставляет широкий простор для её "нетрадиционного" использования.
В анонсе сообщается, что корпорации намерены построить большой кластер из нескольких сотен компьютеров являющихся комбинаций машин Google и серверов IBM BladeCenter и System X с общим числом процессоров более 1600.
Интересным аспектом мероприятия является его академическая направленность. Студенты смогут получать доступ к кластеру через интернет и выполнять на нем свои лабораторные работы по параллельным вычислениям.
Сервера будут работать на Линуксе, использовать XEN и Apache's Hadoop, и открытую реализацию MapReduce и Google File System (GFS).
Сегодня SUN анонсировала достижение договоренности о покупке компании Cluster File Systems, которая производит кластерную файловую систему Lustre.
Lustre известна тем, что используется на большом числе счетных кластеров, в том числе на top #1 на текущий момент суперкомпьютере IBM BG/L в LLNL лаборатории, так же в суперкомпьютерах Cray XT3 и XT4.
Sun планирует добавить поддержку Solaris в Lustre и продолжить развитие Lustre для Linux и Solaris, так же планируется сменить дисковую файловую систему, которая используется Lustre с ext4 на zfs.
Завершение сделки планируется 1го октября 2007го года, условия сделки не разглашаются.
