Выпущена первая версия сервера хранения данных с доступом по протоколу HTTP, предназначенная для решения проблемы большого количества маленьких файлов на файловых системах, в том числе кластерных.

Некоторые возможности:

• многопоточность;
• мультисерверность, обеспечивающая отказоустойчивость и сбалансированность нагрузки;
• максимальная прозрачность для пользователя или разработчика;
• поддерживаемые методы HTTP: GET, HEAD, PUT и DELETE;
• управление поведением при чтении и записи через клиентские заголовки;
• поддержка гибко настраиваемых виртуальных хостов;
• поддержка целостности данных CRC при записи/чтении;
• полудинамические буферы для минимального потребления памяти и оптимальной настройки сетевой производительности;
• отложенная компакция данных;
• как дополнение — многопоточный архиватор wZA для миграции файлов без остановки сервиса.

Продукт предназначен для смешанного применения, в том числе поддерживается работа с большими файлами без ущерба производительности.

Основное рекомендуемое направление использования на origin серверах и крупных хранилищах для значительного снижения количества метаданных в кластерных файловых системах и расширения их возможностей.

Сервер распространяется под лицензией BSD-3.

>>> Статья

Объявлено о выходе новой версии распределённой файловой системы Lustre 2.8.

Основные изменения:

• Официальная поддержка RHEL 7 для MDT и OST серверов (ядро Linux 3.10).
• DNE: Асинхронное применение обновлений между MDT серверами. Реализован функционал для удалённого переименования и работы с жёсткими ссылками.
• LFSCK: Повышение производительности при online проверке целостности файловой системы.
• Поддержка SELinux на стороне клиента.
• Поддержка множественных изменений метаданных в RPC-запросе со стороны клиента.

Файловая система Lustre предназначена для построения высокопроизводительного масштабируемого хранилища (на нескольких серверах) для большого числа клиентов (есть инсталляции для тысяч клиентов). Основная сфера применения: вычислительные кластерные системы. За счёт распределения файлов по серверам, активного использования оперативной памяти для кэша и поддержки InfiniBand может достигаться суммарная пропускная способность в сотни ГБ/с.

Changelog

Скачать

>>> Подробности

Вышла новая версия PostgreSQL-XC.

В новом выпуске:

• Версия PostgreSQL обновлена до 9.2.
• Добавление ноды в работающий кластер без остановки кластера (на время добавления запрещен DDL).
• ROW LEVEL триггеры.
• Поддержка RETURNING.

PostgreSQL-XC — это multi-master, share-nothing СУБД с BSD-like лицензией.

>>> Сайт проекта

Вышла новая версия кластерного хранилища данных Ceph 0.56.1 «bobtail». Данная версия является обновлением предыдущей «стабильной» версии Ceph 0.48 «argonaut». По сравнению с предыдущей версией Ceph 0.48 «argonaut» можно отметить следующие улучшения:

• аутентификация включена по умолчанию;
• уменьшена нагрузка на ввод-ввывод при восстановлении;
• добавлена возможность создания изменяемых снапшотов (клонирование данных блочного хранилища rados);
• интеграция с OpenStack Keystone;
• улучшенная поддержка Swift и S3 API, сбор статистики использования;
• поддержка openSUSE, SLES, Fedora, RHEL, CentOS (ранее только Debian/Ubuntu);
• множество улучшений для повышения стабильности и производительности.

>>> Подробности

Разработчики представили Rocks Cluster Distribution 6.1 — обновлённую версию специализированного CentOS-based дистрибутива, ориентированного на создание высокопроизводительных физических или виртуальных кластеров.

Rocks Cluster Distribution 6.1 построен на пакетной базе CentOS 6.3 со всеми обновлениями по состоянию на 27 ноября 2012 года.

Новые функции:

• по умолчанию задействован режим SSH-аутентификации на хосте, в результате пользователям нет необходимости использовать password-less SSH-ключи, или монтировать домашний каталог на удалённых узлах;
• двухуровневая SSH-аутентификация с использованием Google Authenticator Apps для пользователей Android и iPhone;
• для упрощения генерации двумерных QR-кодов добавлены пакеты libqrencode.so и qrencode;
• новый ZFS-linux roll для поддержки файловой системы ZFS (однако в качестве корневой файловой системы ZFS пока не поддерживается);
• новый kernel-org roll, упрощающий поддержку «ванильных» ядер из kernel.org;
• добавлена поддержка адаптеров Infiniband Mellanox.

Страница загрузки и комментарии к выпуску.

>>> Подробности

Объявлено о выходе новой версии кластерной файловой системы — Lustre 2.1.

Замысел проекта по созданию Lustre состоял в том, чтобы предоставить файловую систему для кластеров в десятки тысяч узлов с хранилищами порядка нескольких петабайт без потери скорости и безопасности по сравнению с обычными файловыми системами. В настоящее время разработка Lustre ведётся компанией Whamcloud и сообществом после того, как в декабре 2010 года Oracle прекратил работу над проектом, доставшимся компании при покупке Sun Microsystems.

Из новинок следует отметить полную поддержку RHEL6/CentOS6 (сервер и клиент) и поддержку 128TB LUN.

Git-репозиторий

Загрузить

Список изменений

>>> Подробности

Запущен кластер (Научно-исследовательской лаборатории Военно-Воздушных сил США, Нью-Йорк), составленный из 1760 Sony PlayStation3, под кодовым названием Condor Cluster. Он позволит очень быстрый анализ больших изображений с высокой разрешающей способностью (миллиарды пикселей).

То, что раньше занимало несколько часов, теперь занимает несколько секунд!

Condor Cluster работает под Linux.

>>> Подробности

Сегодня, спустя почти год после предыдущего обновления, вышло свежее обновление Solaris 10 под новым именем - Oracle Solaris 10 9/10.

Вместе с ним также выпущены Oracle Solaris Cluster 3.3 и Oracle Solaris Studio12.2.

Основные особенности этого релиза:

• Оптимизация для Oracle Real Application Clusters (Oracle RAC)
• Улучшенные инструменты миграции “P2V” (Physical to Virtual) для конвертации существующих физических систем Solaris в виртуальные контейнеры
• Улучшенная надежность виртуализированных окружений Solaris, работающих в Oracle VM for SPARC (LDOMs)
• Множество улучшений в ZFS, в том числе средства восстановления после некоторых типов сбоев

Также стоит отметить, что это обновление выходит под новой лицензией Oracle Technology Network License Agreement for Oracle Solaris, в которой четко определены разрешенные способы использования без отсылок к дополнительным документам (Entitlement), как это было ранее. В частности, Solaris 10 можно использовать для разработки, тестирования, прототипирования и демонстрации систем, в то время как использование в иных коммерческих целях без приобретения лицензии явным образом запрещается. Срок оценочного использования ограничен 30 днями.

Загрузить обновление можно на странице загрузки

>>> Пресс-релиз

Тихо и незаметно обновился PelicanHPC (с 1.9.3 до 2.0) - основанный на Debian liveCD-дистрибутив для простого создания кластера. (HPC - high performance computing). В девичестве PelicanHPC - ParallelKnoppix. Особенности этого релиза:

• PelicanHPC 2.0 подготовлен на основе ветки Debian «testing» вместо «stable» - это означает, что для большинства пакетов есть новые версии. В частности, ядро обновилось до 2.6.30 и Open MPI до 1.3.3.
• Новые MPI связи для GNU Octave.
• Возможность использования версию Octave 3.2.x вместо 3.0.x, которая дает некоторый прирост производительности.
• модуль Monte Carlo и ядро были адаптированы к использованию новых связей.
• Система мониторинга Ganglia установлена и предварительно настроена для работы с 4 хостами.

Сайт проекта http://idea.uab.es/mcreel/ParallelKno...

PelicanHPC Tutorial http://pareto.uab.es/mcreel/PelicanHP...

Русский рассказ про установку (старая версия) http://cluster.linux-ekb.info/QuickSt...

Скачать можно отсюда: http://download.mi.hs-heilbronn.de/pelicanhpc/

>>> http://idea.uab.es/mcreel/ParallelKnoppix/

Разработчики jabber-сервера Openfire рады сообщить, что ранее коммерческий плагин для создания кластеров стал свободным. Этот плагин позволяет нескольким серверам Openfire работать как единому целому, что дает возможность распределять нагрузку между серверами и обеспечивает надежность работы, если один из серверов выходит из строя.

После того, как этот плагин стал открытым, свободный вариант сервера Openfire имеет ту же функциональность, что и его Enterprise-версия. Причина, по которой кластерный плагин оставался последним закрытым компонентом enterprise-сервера, заключалась в том, что он зависел от Oracle Coherence - коммерческого продукта. Это делало задачу по открытию плагина достаточно хитрым делом. В итоге, плагин стал открытым, но для его использования необходима действующая лицензия на Oracle Coherence.

Файл Readme описывает шаги установки плагина. Кроме того, там содержится информация о том, что необходимо предпринять, если вы собираетесь разрабатывать новые версии этого плагина.

>>> Анонс на сайте разработчика

Вышла новая версия утилиты управления конфигурацией для синхронизации кластеров Synctool 4.0. Программа претерпела некоторую внутреннюю переработку и приобрела дополнительные функции.

Одна из новых функций Synctool - скрипты, заканчивающийся на .post, которые запускаются при обновлении файлов, например, при перезапуске заново настроенного демона. Скрипты могут иметь определенную группу свойств. Появилась возможность выполнять команды по ssh или dsh на всех управляемых утилитой узлах.

Synctool написана на Python и использует ssh и rsync для распространения файлов. Узлы могут быть обновлены в группах, классах или индивидуально. Самописные плагин-скрипты позволяют дополнительно расширить функционал.

Версия 4.0 (лицензия GPLv2) доступна на странице проекта.

>>> Подробности

Пример создания конфигурации кластера высокой доступности с использованием Red Hat Cluster Suite и кластерной файловой системы Global File System.

При создании HA-кластера используем следующее ПО/технологии. Все они являются полностью открытыми, и для них доступен исходный код:

• Red Hat Enterprise Linux Advanced Platform 5.1
• Red Hat Cluster Suite (в том числе web-интерфейс Conga, qdiskd и clvmd)
• Global File System
• udev

Вместо RHEL можно использовать CentOS, Scientific Linux и другие подобные.

>>> Подробности

На конференции Google I/O было представлено (http://news.cnet.com/8301-10784_3-995...) много интересных фактов о технической стороне работы дата-центров, обеспечивающих работу инфраструктуры Google.

Например:

• Всего у Google в настоящий момент 36 дата-центров, в каждом более 150 стоек, по 40 серверов в каждой. Итого, по самым скромным подсчетам около 200 тысяч серверов (в 2000 году было 4000 серверов).
• За первый год работы нового кластера, из 6 тыс. машин (150 стоек по 40 серверов) ломается около тысячи, фиксируется несколько тысяч отказов в работе жестких дисков.
• При сбое одного блока распределения питания разом останавливается от 500 до 1000 машин, введение в строй которых продолжается около 6 часов.
• После выключения 5% машин кластера, например из-за выхода из строя системы охлаждения, на восстановление уходит два дня.
• Каждый момент от 40 до 80 машин кластера недоступны в сети.
• В обслуживание одного типичного поискового запроса вовлекается от 700 до 1000 серверов.

>>> Подробности

Филиппинская служба слежения за погодой (PAGASA), занимающаяся предсказанием тайфунов, цунами и т.п. использовала восьмикомпьютерный кластер под управлением Debian GNU/Linux для замены суперкомпьютера от SGI. В результате чего система, обрабатывающая данные из локальной и глобальной телекоммуникационной системы, снизила ежемесячные затраты на своё функционирование в 20 раз.

>>> Подробности