LINUX.ORG.RU

Выход файловой системы Lustre 2.8

 , , ,


2

2

Объявлено о выходе новой версии распределённой файловой системы Lustre 2.8.

Основные изменения:

  • Официальная поддержка RHEL 7 для MDT и OST серверов (ядро Linux 3.10).
  • DNE: Асинхронное применение обновлений между MDT серверами. Реализован функционал для удалённого переименования и работы с жёсткими ссылками.
  • LFSCK: Повышение производительности при online проверке целостности файловой системы.
  • Поддержка SELinux на стороне клиента.
  • Поддержка множественных изменений метаданных в RPC-запросе со стороны клиента.

Файловая система Lustre предназначена для построения высокопроизводительного масштабируемого хранилища (на нескольких серверах) для большого числа клиентов (есть инсталляции для тысяч клиентов). Основная сфера применения: вычислительные кластерные системы. За счёт распределения файлов по серверам, активного использования оперативной памяти для кэша и поддержки InfiniBand может достигаться суммарная пропускная способность в сотни ГБ/с.

>>> Changelog

>>> Скачать

>>> Подробности

★★★★★

Проверено: maxcom ()

SE Linux

Klymedy, позор.

(есть инсталляции для тысяч клиентов)

Кстати, что это означает? Варианты инсталляций? Или эти «инсталляции» у большого бати где-то?

DeadEye ★★★★ ()
Ответ на: комментарий от DeadEye

Кстати, что это означает? Варианты инсталляций? Или эти «инсталляции» у большого бати где-то?

Или эти «инсталляции» у большого бати где-то?

This. BTW, ЕМНИП, Люстра на Ломоносове используется, ну или во всяком случае использовалась.

tiandrey ★★★★ ()

А там есть API для питона, чтоб кинуть файл на определённый сервер или спросить, на каком физическом сервере лежит данный конкретный файл?

Wizard_ ★★★★★ ()
Ответ на: комментарий от Wizard_

на каком физическом сервере лежит данный конкретный файл?

Файл не обязательно должен лежать на одном сервере, он разбивается на части, которые могут храниться как на одном сервере, так и на нескольких. При этом пользователь сам может устанавливать правила: какого размера блоки и на каком количестве OST один файл может находиться. Для этого есть, как минимум, утилиты.

Если не ошибаюсь, то Hadoop умеет напрямую использовать хранилище Lustre.

AlexVR ★★★★★ ()
Ответ на: комментарий от nighthawk

Учитывай, что тебе для этого нужно минимум 3-4 файловых сервера:

  • Metadata Server (MDS)
  • Резервный MDS
  • Дисковая полка подключённая к основному и резервному MDS, на которой будет храниться MDT.
  • Пара Object Storage Server (OSS)
  • Дисковая полка(-и) подключённая(-ые) к обоим OSS, для хранения нескольких OST.

На OSS память пожирается полностью, всё что доступно идёт в кэш. Монтировать саму Lustre на файловых серверах крайне не рекомендуют, так же как и нагружать их какими-либо другими службами.

Для побаловаться, можно конечно развернуть всё на одном сервере, но зачем?

AlexVR ★★★★★ ()

Реализован функционал для удалённого переименования и работы с жёсткими ссылками.

Блин, прочитал как: Реализован функционал для удалённого переименования и работы с женскими сиськами =))

vasya_pupkin ★★★ ()