FusedOS – операционная система общего назначения, разработанная в исследовательской лаборатории IBM. Цель – обеспечение совместной работы универсальных программ для Linux и специализированных кластерных решений. Доступный для загрузки прототип предназначен для выполнения на архитектуре суперкомпьютеров IBM Blue Gene/Q.

Стандартное окружение FusedOS аналогично таковому в Linux, благодаря чему можно выполнить любую программу по SSH. Запуск специализированных решений для ядер кластерных узлов IBM (CNK, Computer Node Kernel) осуществляется с помощью утилиты «cl». Таким образом FusedOS реализует гибридную двуплатформенную среду. Программы разделяют общие ресурсы, при этом доступна более тесная интеграция, чем при использовании виртуализации: возможно даже взаимодействие между процессами, запущенными на разных экземплярах операционной системы.

FusedOS позволяет использовать менеджер ресурсов SLURM, который обеспечивает поддержку Message Passing Interface (MPI) – API, предназначенного для обмена сообщениями между процессами, выполняющими одну задачу. Одно из ключевых преимуществ FusedOS – снимается привычное ограничение CNK: один узел – одно приложение. Теперь на одном узле можно одновременно запускать несколько программ для CNK.

FusedOS выпущена под свободной лицензией EPL (Eclipse Public License), за исключением некоторых компонентов под GPL v2. Это сделано, чтобы привлечь сторонних разработчиков, заинтересованных в развитии гибридных решений. Исходные коды, детальное описание и инструкции доступны на github.com.

>>> Подробности (opennet.ru)

Ключевые темы конференции:

Применение суперкомпьютерных технологий на острие науки

• Науки о материалах
• Вычислительная гидродинамика
• Нефтегазовая промышленность
• Биомедицинские науки
• Криптоанализ
• Новейшие достижения в области масштабируемых алгоритмов для больших вычислительных систем

Актуальные задачи суперкомпьютерной отрасли

• Как решать проблемы ввода-вывода данных в будущем
• Системные задачи суперкомпьютерной отрасли (отказоустойчивость, восстановление после сбоев)
• Энергоэффективность суперкомпьютерных центров
• Новые технологии для ОЗУ
• Дизайн микросхем
• Высококлассные системы на подступах к экзаскейлу
• Модели и инструменты разработки ПО

«Большие данные» и суперкомпьютерные технологии

• Будущие модели разработки ПО, модели и архитектуры для его выполнения
• Приобретение и освоение

Двухдневная индустриальная сессия

Цель индустриальной сессии - демонстрация экономической значимости и индустриального применения высокопроизводительных технологий. Индустриальная сессия также поможет представителям индустрии в вопросах приобретения и использования высокопроизводительных систем.

Интерконнект и топологии высокпроизводительных систем - современные достижения и тренды

Высокопроизводительные облака: от алгоритмов к приложениям

Отсутствующее связующее звено: как высокопроизводительные технологии смогут помочь промышленности?

Стенды

• Как защитить инвестиции в высокопроизводительные технологии в будущем?
• Файловые системы для высокопроизводительных вычислителей: задачи на ближайшее будущее

Отдельные доклады

• Технологии и компьютеры для задач предсказания погоды и климата
• Как пользоваться новым 65-магаваттным суперкомпьютером Bluffdale: введение в криптоанализ
• Вычислительная химия и высокопроизводительные технологии
• Новые технологии энергосбережения в ОЗУ
• Данные с большими числами - не просто большие данные

>>> Подробности (isc-events.com)

Вышла новая версия кластерного хранилища данных Ceph 0.56.1 «bobtail». Данная версия является обновлением предыдущей «стабильной» версии Ceph 0.48 «argonaut». По сравнению с предыдущей версией Ceph 0.48 «argonaut» можно отметить следующие улучшения:

• аутентификация включена по умолчанию;
• уменьшена нагрузка на ввод-ввывод при восстановлении;
• добавлена возможность создания изменяемых снапшотов (клонирование данных блочного хранилища rados);
• интеграция с OpenStack Keystone;
• улучшенная поддержка Swift и S3 API, сбор статистики использования;
• поддержка openSUSE, SLES, Fedora, RHEL, CentOS (ранее только Debian/Ubuntu);
• множество улучшений для повышения стабильности и производительности.

>>> Подробности (ceph.com)

Cascading — Java-фреймворк, позволяющий быстро и легко разрабатывать приложения для анализа и управления данными — обновился до версии 2.0. Cascading работает на платформе Apache Hadoop 1.0 и может быть развёрнут на различных вычислительных средах.

( Подробнее о Cascading )

Некоторые особенности этого релиза:

• поддержка Hadoop 1.0.2;
• поддержка JUnit 4.8.x;
• исходные коды теперь распространяются на условиях лицензии Apache 2.0 Licensing (до этого была GPLv3);
• добавлен локальный режим работы, в котором не используются компоненты Hadoop;
• изменены пакеты для многих внутренних типов для упрощения документации;
• добавлен новый интерфейс для сбора подробной статистики;
• многочисленные исправления ошибок;
• репозиторий проекта переехал на гитхаб.

Новость на nixp.ru

>>> Подробности (cascading.org)

Представлен релиз Mongo+Hadoop Connector — набор модулей для платформы Hadoop, обеспечивающих подключение к NoSQL базе данных MongoDB. Теперь MongoDB может выступать в качестве источника данных для Hadoop (Map/Reduce и другие компоненты экосистемы Hadoop). Также возможна и обратная операция — запись результатов работы в MongoDB.

На данный момент поддерживаются основные API Hadoop (известные как Hadoop Common). Обеспечена поддержка записи в MongoDB из Pig (apache.org) и Streaming для выполнения Map/Reduce на Python.

Репозиторий проекта на github.

>>> Подробности (mongodb.org)

Спустя несколько месяцев бета-тестирования состоялся релиз седьмой версии известного клиента распределенных вычислений BOINC.

Основные изменения:

• Локализация и повышение удобства пользования графического интерфейса в простом режиме.
• Поддержка OpenCL.
• Улучшение Virtual Machine Support.
• Новый планировщик ресурсов.

В настоящее время в сети распределенных вычислений BOINC задействовано примерно полмиллиона компьютеров с общей производительностью более 7 петафлопс.

>>> Подробности (berkeley.edu)

6 февраля увидел свет релиз Apache Mahout за номером 0.6.

Среди нововведений:

• Уменьшение времени вычисления скалярного произведения векторов.
• Поддержка MongoDB и Cassandra DataModel.
• Исправлены некоторые ошибки и введены некоторые дополнительные улучшения.

Подробный список изменений доступен на сайте Apache Software Foundation.

Apache Mahout представляет собой реализацию большого количества алгоритмов машинного обучения: кластеризацию, классификацию, фильтрацию и т.п. Основные алгоритмы разработаны с применением парадигмы map/reduce и применяются для обработки и анализа больших объемов данных на платформе Hadoop. Apache Mahout выпускается на условиях Apache Software license 2.0.

Напоминаю, что Apache Hadoop — один из перспективных проектов Apache Foundation, который предоставляет собой свободно распространяемый набор утилит, библиотек и программный каркас для разработки и выполнения распределённых программ, работающих на кластерах из сотен и тысяч узлов.

>>> Подробности (apache.org)

Выпущена новая версия открытой платформы для организации управления облачной инфраструктурой и виртуальными окружениями KVM, Xen и VMware — OpenNebula 3.2.

Из новинок следует отметить:

• Полная поддержка VMware.
• Новый веб-инструмент для простого управления инфраструктурой Self-Service Portal.
• Улучшенный интерфейс управления пользователями и группами.
• Новая подсистема управления сетью.
• Политики управления центром данных.

Доступны пакеты для RHEL/CentOS, Debian, openSUSE и Ubuntu

>>> Подробности (opennebula.org)

Apache Software Foundation анонисировал релиз Hadoop 1.0 - популярной платформы для обработки больших объемов данных.

Apache Hadoop активно используется в Amazon, AOL, Apple, eBay, Facebook, foursquare, HP, LinkedIn, Netflix, The New York Times, Rackspace, Twitter, Yahoo и других компаниях.

Версия 1.0 включает:

• Поддержку СУБД Hbase - добавлены функции sync и flush, необходимые для поддержки журнала транзакций
• Аутентификацию на базе Kerberos
• Webhdfs - простой HTTP REST интерфейс для доступа к распределенной файловой системе Hadoop (HDFS)
• Различные оптимизации и другие улучшения
• Все функции Hadoop 0.20.205

>>> Подробности (apache.org)

Сегодня, 22 ноября, в московской гостинице Holiday Inn Lesnaya прошла ежегодная конференция RSC 2011 — Russian Supercomputing Conference. В этом году конференция проводилась в шестой раз. В ходе конференции представителями крупнейших мировых концернов было сделано 13 докладов, среди которых были анонсы новых программных продуктов, анонсы новых аппаратных архитектур, а также обзоры современных тенденций в области высокопроизводительных вычислений.

Более подробный список докладов:

( читать дальше... )

>>> Сайт конференции (rsc2011.ru)

Объявлено о выходе новой версии кластерной файловой системы — Lustre 2.1.

Замысел проекта по созданию Lustre состоял в том, чтобы предоставить файловую систему для кластеров в десятки тысяч узлов с хранилищами порядка нескольких петабайт без потери скорости и безопасности по сравнению с обычными файловыми системами. В настоящее время разработка Lustre ведётся компанией Whamcloud и сообществом после того, как в декабре 2010 года Oracle прекратил работу над проектом, доставшимся компании при покупке Sun Microsystems.

Из новинок следует отметить полную поддержку RHEL6/CentOS6 (сервер и клиент) и поддержку 128TB LUN.

Git-репозиторий

Загрузить

Список изменений

>>> Подробности (google.com)

Intel, Dell и Texas Advanced Computing Center объединят усилия для создания суперкомпьютера «Stampede» с пиковой производительностью 10 петафлопс.

Начальное финансирование в 27.5 миллионов долларов предоставит Национальный научный фонд при правительстве США в надежде, что суперкомпьютер будет использоваться научным сообществом для задач симуляции и обработки данных.

Основу «Stampede» составят серверы Dell Zeus, каждый из которых имеет на борту два 8-ядерных процессора Sandy Bridge-EP aka Xeon Processor E5 Family и 32ГБ оперативной памяти.
Также «Stampede» будет оборудован 128 GPU NVIDIA следующего поколения для удалённой визуализации, 16-ю серверами Dell с терабайтом расшаренной памяти и двумя GPU в каждом для анализа больших объёмов данных, а также высокопроизводительной файловой системой Lustre. Все компоненты будут соединены при помощи сети InfiniBand FDR 56Gb/s.

Суммарно суперкомпьютер будет оснащён 272ТБ ОЗУ и 14ПБ дискового пространства.

А Linux тут при том, что «Stampede» станет самым мощным в США высокопроизводительным кластером, собранном на процессорах семейства x86, и установлен на нём будет именно Linux.

Подробности

>>> Новость на slashdot (slashdot.org)

Компанией Cycle Computing для своего клиента - фармацевтической компании Genentech внутри сервиса Amazon Elastic Compute Cloud был сконфигурирован вычислительный кластер, состоящий из 10000 ядер. На каждом узле запущенного сервиса стояла операционная система CentOS (клон Linux RedHat). Для обслуживания кластера использовалось как собственное ПО фирмы CycleCloud software, так и программное обеспечение с открытым кодом Condor и Chef.

Задача расчёта белковых связей, которая и считалась на этом кластере очень хорошо распараллеливается и производительность должна была быть близка к теоретической. Таким образом, расчеты, потребовавшие восемь часов работы облачного кластерного суперкомпьютера с быстродействием около 66 TFlops, составленного из 1250 физических восьмиядерных машин, с суммарным объёмом оперативной памяти 8.75Тб и 2Пт (петабайт) дисковой обошлись Genentech всего в 8500 долларов, включая все выплаты Amazon и Cycle Computing.

>>> Подробности (networkworld.com)

В большом бизнесе использование нескольких больших кластеров с финансовой точки зрения более эффективно, чем много маленьких. Чем больше машин в кластере, тем большими наборами данных он может оперировать, больше задач могут выполняться одновременно. Реализация MapReduce в Apache Hadoop столкнулась с потолком масштабируемости на уровне около 4000 машин в кластере. Разрабатывается следующее поколение Apaсhe Hadoop MapReduce, в котором появится общий планировщик ресурсов и отдельный мастер для каждой отдельной задачи, управляющий выполнением программного кода. Так как простой оборудования по техническим причинам обходится дорого на таком масштабе, высокий уровень доступности проектируется с самого начала, равно как и безопасность и многозадачность, необходимые для поддержки одновременного использования большого кластера многими пользователями. Новая архитектура также будет более инновационной, гибкой и эффективной с точки зрения использования вычислительных ресурсов.

>>> Подробности (insight-it.ru)

Eric Baldeschwieler, вице-президент Yahoo по направлению разработки Apache Hadoop, опубликовал историю использования продукта в Yahoo.

В 2006 году Yahoo потребовалась среда для хранения и обработки больших объемов данных. В тот момент у конкурентов уже были собственные реализации map-reduce и кластерного хранилища, и вместо разработки своего проприетарного решения Yahoo приняла решение подключиться к разработке открытого Apache Hadoop.

В настоящий момент около сотни сотрудников компании работают над проектом Apache Hadoop и связанными с ним подпроектами, такими как Pig, ZooKeeper, Hive, Howl, HBase и Oozie. В дата центрах Hadoop запущен на около 40000 узлов (более 300 тысяч процессорных ядер). Hadoop используется в задачах поиска, рекламы, определении спама и др.

>>> Подробности (yahoo.com)