LINUX.ORG.RU

Выход файловой системы Lustre 2.8

 , , ,


2

2

Объявлено о выходе новой версии распределённой файловой системы Lustre 2.8.

Основные изменения:

  • Официальная поддержка RHEL 7 для MDT и OST серверов (ядро Linux 3.10).
  • DNE: Асинхронное применение обновлений между MDT серверами. Реализован функционал для удалённого переименования и работы с жёсткими ссылками.
  • LFSCK: Повышение производительности при online проверке целостности файловой системы.
  • Поддержка SELinux на стороне клиента.
  • Поддержка множественных изменений метаданных в RPC-запросе со стороны клиента.

Файловая система Lustre предназначена для построения высокопроизводительного масштабируемого хранилища (на нескольких серверах) для большого числа клиентов (есть инсталляции для тысяч клиентов). Основная сфера применения: вычислительные кластерные системы. За счёт распределения файлов по серверам, активного использования оперативной памяти для кэша и поддержки InfiniBand может достигаться суммарная пропускная способность в сотни ГБ/с.

Changelog

Скачать

>>> Подробности

★★★★★

Проверено: maxcom ()
Последнее исправление: Klymedy (всего исправлений: 4)

Ответ на: комментарий от hobbit

Где ты увидел упоминание про локальные сети?

он админа зеркале увидел :)

hoopoe ★★
()
Последнее исправление: hoopoe (всего исправлений: 2)

SE Linux

Klymedy, позор.

(есть инсталляции для тысяч клиентов)

Кстати, что это означает? Варианты инсталляций? Или эти «инсталляции» у большого бати где-то?

DeadEye ★★★★★
()

клёва. надо дома на ноуте заюзать вечерком :)

v9lij ★★★★★
()
Ответ на: комментарий от hobbit

Где ты увидел упоминание про локальные сети?

Неужели ты подумал, что файлы распределяются между серверами в глобальной сети? :D

anonymous
()
Ответ на: комментарий от DeadEye

Кстати, что это означает? Варианты инсталляций? Или эти «инсталляции» у большого бати где-то?

Или эти «инсталляции» у большого бати где-то?

This. BTW, ЕМНИП, Люстра на Ломоносове используется, ну или во всяком случае использовалась.

tiandrey ★★★★★
()

А там есть API для питона, чтоб кинуть файл на определённый сервер или спросить, на каком физическом сервере лежит данный конкретный файл?

Wizard_ ★★★★★
()
Ответ на: комментарий от anonymous

Неужели ты подумал, что файлы распределяются между серверами в глобальной сети? :D

Ну gpfs может и в глобальной, правда тогда это будет асинхронно.

owlmind
()
Ответ на: комментарий от Deleted

У сефа фс неимоверный тормоз.

Сеф хорош радосом и рбд.

Difrex ★★★★
()
Ответ на: комментарий от Wizard_

на каком физическом сервере лежит данный конкретный файл?

Файл не обязательно должен лежать на одном сервере, он разбивается на части, которые могут храниться как на одном сервере, так и на нескольких. При этом пользователь сам может устанавливать правила: какого размера блоки и на каком количестве OST один файл может находиться. Для этого есть, как минимум, утилиты.

Если не ошибаюсь, то Hadoop умеет напрямую использовать хранилище Lustre.

AlexVR ★★★★★
() автор топика
Ответ на: комментарий от nighthawk

Учитывай, что тебе для этого нужно минимум 3-4 файловых сервера:

  • Metadata Server (MDS)
  • Резервный MDS
  • Дисковая полка подключённая к основному и резервному MDS, на которой будет храниться MDT.
  • Пара Object Storage Server (OSS)
  • Дисковая полка(-и) подключённая(-ые) к обоим OSS, для хранения нескольких OST.

На OSS память пожирается полностью, всё что доступно идёт в кэш. Монтировать саму Lustre на файловых серверах крайне не рекомендуют, так же как и нагружать их какими-либо другими службами.

Для побаловаться, можно конечно развернуть всё на одном сервере, но зачем?

AlexVR ★★★★★
() автор топика
Ответ на: комментарий от AlexVR

Мне нужно на двух-трех развернуть, с синхронизацией всех нод. Текущее решение шевелится весьма недурно, но памяти кушает много.

nighthawk
()
Ответ на: комментарий от Ya_gnu_linux

Такая же ситуация. Но кому это интересно...

vedro
()

Реализован функционал для удалённого переименования и работы с жёсткими ссылками.

Блин, прочитал как: Реализован функционал для удалённого переименования и работы с женскими сиськами =))

vasya_pupkin ★★★★★
()
Ответ на: комментарий от I-Love-Microsoft

в твоем танке люк заварили? :)

Он приржавел, я никак не мог открыть.

Ya_gnu_linux
()

Вот пока ЛОР на эту ФС не переведут — царствие Шаманово не закончится. Ибо как его люстрировать-то иначе?

anonymous
()
Ответ на: комментарий от DeadEye

А что, Sony Ericsson не может свой дистрибутив выпустить? Даже после смерти?

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.