LINUX.ORG.RU

Выход файловой системы Lustre 2.1

 , , ,


0

1

Объявлено о выходе новой версии кластерной файловой системы — Lustre 2.1.

Замысел проекта по созданию Lustre состоял в том, чтобы предоставить файловую систему для кластеров в десятки тысяч узлов с хранилищами порядка нескольких петабайт без потери скорости и безопасности по сравнению с обычными файловыми системами. В настоящее время разработка Lustre ведётся компанией Whamcloud и сообществом после того, как в декабре 2010 года Oracle прекратил работу над проектом, доставшимся компании при покупке Sun Microsystems.

Из новинок следует отметить полную поддержку RHEL6/CentOS6 (сервер и клиент) и поддержку 128TB LUN.

Git-репозиторий

Загрузить

Список изменений

>>> Подробности



Проверено: maxcom ()

Может я чего-то не понимаю, но смысли пилить ФС под одну платформу? Абы умереть в зародыше?

FeyFre ★★★★ ()
Ответ на: комментарий от FeyFre

> Может я чего-то не понимаю, но смысли пилить ФС под одну платформу? Абы умереть в зародыше?

Посмотри в top500, и подумай ещё раз, чо сказал.

AnDoR ★★★★★ ()
Ответ на: комментарий от FeyFre

> Может я чего-то не понимаю, но смысли пилить ФС под одну платформу?

Под семерочку максимавльную, что-ли, портировать надо? Ну так возьмись, если тебе это надо.

plm ★★★★★ ()

А на десктопе от неё будет толк?

CARS ★★★★ ()

Lustre используется для того, чтобы подключить ноды сервера к общему хранилищу? Или с помощью люстры можно объединить винты всех серверов кластера в одну большую ФС? Что-т не совсем понял.

Selessar ()
Ответ на: комментарий от CARS

> А на десктопе от неё будет толк?

нет. эта технология, как и «облака» нужна большим компаниям. на десктопе бессмысленна ;)

VoDA ★★ ()
Ответ на: комментарий от Selessar

> Lustre используется для того, чтобы подключить ноды сервера к общему хранилищу?

да.

Или с помощью люстры можно объединить винты всех серверов кластера в одну большую ФС? Что-т не совсем понял.

да, можно.

Основной бонус в том, что стремятся получить линейную масштабируемость на Петабайтный объемах и работе с ФС когда все ноды читают/пишут данные.

VoDA ★★ ()
Ответ на: комментарий от VoDA

+поддержка InfiniBand

ИМХО, Panasas как коробочное решения - более интересный вариант.

aaleks ()

Лучше бы открыли исходники GoogleFS, вот это было бы круто.

enchantner ()
Ответ на: комментарий от CARS

>> А на десктопе от неё будет толк?

будет,если подключить десктоп к кластеру. Особенно через InfiniBand.

aaleks ()
Ответ на: комментарий от VoDA

>> Или с помощью люстры можно объединить винты всех серверов кластера в одну большую ФС? Что-т не совсем понял.

да, можно.

Ух ты, круто. Надо будет погонять на тестовых машинках.

Selessar ()
Ответ на: комментарий от enchantner

На кой? Это неиерархическая файловая система, которая заточена исключительно под mapreduce.

Reset ★★★★★ ()

чем оно лучше чем GlusterFS?

Ingwar ★★★★★ ()
Ответ на: комментарий от CARS

Для desktop пилился аналог нашим соотечественником - POHMELFS. Только проект, похоже, помер.

malices_gossips ★★★ ()

> следует отметить полную поддержку RHEL6/CentOS6 (сервер и клиент)

Как то это коряво - «в такой-то ФС поддерживается такая-то ОС». Может, исправить в стиле «реализация поддержки такой-то ФС в такой-то ОС»?

Cyril ★★ ()
Ответ на: комментарий от Ingwar

>> чем оно лучше чем GlusterFS? Тем, что работает быстрее, особенно на чтение.

aaleks ()
Ответ на: комментарий от malices_gossips

>>Для desktop пилился аналог нашим соотечественником - POHMELFS. Только проект, похоже, помер.

А зачем такое на desktop? И правильно, что помер, пустая трата сил и времени.

aaleks ()
Ответ на: комментарий от aaleks

Там изначально вроде как планировалась масштабируемая клиент-серверная реализация, которая в случае небольшого количества клиентов была бы альтернативой NFS.
Тесты скорости говорили, что она быстрее NFS. Ее, кстати, в ядро включили. Этот код до сих пор в ядре, только он никому не нужен, похоже.

malices_gossips ★★★ ()
Ответ на: комментарий от enchantner

Вроде они весь материал предоставили, кому надо GFS, те напишут. А реализация google заточена для google, она никому больше не подойдёт, скорее всего.

anonymous ()
Ответ на: комментарий от anonymous

> Вроде они весь материал предоставили, кому надо GFS, те напишут. А реализация google заточена для google, она никому больше не подойдёт, скорее всего.

GFS - это Global File System от RedHat.
GoogleFS есть в свободной реализации и называется Apache Hadoop.

AnDoR ★★★★★ ()
Ответ на: комментарий от Ingwar

> чем оно лучше чем GlusterFS?

Gluster есть только через FUSE. И оно несколько иначе работает.

AnDoR ★★★★★ ()

ура! Давно ждал. теперь качать фильмы с торрента станет удобнее и безопаснее

disee ★★★ ()
Ответ на: комментарий от AnDoR

>Gluster есть только через FUSE.

вы так говорите, как будто это что-то плохое

Ingwar ★★★★★ ()
Ответ на: комментарий от Ingwar

>> Gluster есть только через FUSE.

вы так говорите, как будто это что-то плохое


Да не, это нормалёк, но хотелось бы побыстрее. Когда ему уже напишут ядерный модуль? Также желательно, чтобы конфигурация была не такая упоротая.

AnDoR ★★★★★ ()
Ответ на: комментарий от Cyril

> Как то это коряво - «в такой-то ФС поддерживается такая-то ОС».

точно. Почти как в афоризмах начинающихся на «In Soviet Russia...»

firsttimeuser ★★★★★ ()
Ответ на: комментарий от FeyFre

но смысли пилить ФС под одну платформу?

Её не под оффтопик пилят. Так что - всё ОК.

Saloed ()
Ответ на: комментарий от Ingwar

чем оно лучше чем GlusterFS?

Люстру, в отличие от глустера, не пробовал. Но думаю, что она лучше тем, что работает.

Saloed ()
Ответ на: комментарий от AnDoR

Gluster есть только через FUSE.

вы так говорите, как будто это что-то плохое

Да не, это нормалёк, но хотелось бы побыстрее. Когда ему уже напишут ядерный модуль? Также желательно, чтобы конфигурация была не такая упоротая.

Блин, всё в глустере хорошо... Кроме того, что не работает :( Вообще :(((

Saloed ()

>без потери скорости
Провайдеры с интересом&попкорном приготовились созерцать...

darkshvein ☆☆ ()

а btrfs что, уже закопали? Лучше бы её сначала доделали, а потому уж занимались чем хош

darkshvein ☆☆ ()
Ответ на: комментарий от AnDoR

AnDoR, методика конфигурирования гластера в последней версии претерпела очень существенные изменения, так что теперь вся эта бредятина, которую раньше руками прямо писали в конфиги, пишется самим гластером. Впрочем, по сравнению со многими конкурентами гластер и раньше был крут, но с новым commandline-интерфейсом, позволяющим на лету менять что угодно, он стало просто нереально крут и прост.Кстати, если им не пользоваться через fuse, будет работать реально, без дураков, раз в 5 быстрее прежнего. Об этом мне подсказал какой-то добрый человек на ЛОРе, но я проверил у себя - всё так и есть!
Вот почему Oracle выкинул Люстру - я что-то так и не понял. Вроде не так много проектов аналогичного уровня, они вложились в Sun, который в своё время вложился в Люстру... Это же просто деньги на ветер!

DRVTiny ★★★★★ ()
Ответ на: комментарий от Saloed

>Кроме того, что не работает :( Вообще :(((

Если оно у вас не работает, это ещё не значит, что у всех не работает. Я в незапамятные времена наблюдал только ошибки рассинхронизации записи внутрь здоровенных файлов-образов виртуальных машин, но судя по темпам развития гластера, там уже сто пудов починили этот баг ещё 2 года назад.

DRVTiny ★★★★★ ()
Ответ на: комментарий от Reset

>при чем тут провайдеры?
Некоторым что бы ни сказать, лишь бы не молчать :)

DRVTiny ★★★★★ ()
Ответ на: комментарий от DRVTiny

Гластер сейчас отлично работает. Самое главное, что он данные хранит в обычных директориях на обычной файловой системе, поэтому потерять что-либо невозможно. Да и работает он как nfs, поэтому спецклиент не нужен.

Reset ★★★★★ ()
Ответ на: комментарий от darkshvein

Нет, у меня пока с головой всё в порядке.

Reset ★★★★★ ()
Ответ на: комментарий от Reset

по моему единственная фс со сжатием и онлайновой проверкой. В связи с ССД вопрос о дефраге не задаю

darkshvein ☆☆ ()
Ответ на: комментарий от Reset

При каком применении он отлично работает? В какой конфигурации? И на какой нагрузке?

Saloed ()
Ответ на: комментарий от Saloed

По своему прямому назначению — хранит образы виртуалок. Сейчас у нас 10 серверов, raid1, гигабит.

Reset ★★★★★ ()
Ответ на: комментарий от darkshvein

> по моему единственная фс со сжатием и онлайновой проверкой

Нет там не сжатия, ни тэйл пакинга, ни фсчекера. Уже обсуждалось: всё это было анонсировано для лохов.

anonymous ()
Ответ на: комментарий от anonymous

странно, а у меня работало сжатие. Бтрфс определила во мне лоха?

darkshvein ☆☆ ()

Есть около 20 серверов по всему миру, в качестве ОС используется Linux/FreeBSD. Хочется сделать кластер.
Иногда некоторые сервера (обычно не более 2 в одну единицу времени) становятся недоступными на некоторое время (30-60 минут), при этом ФС должна продолжать работать, пускай даже без доступа к файлам, которые остались на тех недоступных нодах. К тому же, на некоторых серверах низкий аплинк - 2-3 мбита, потому нужно что-то вроде рейда с чередованием для ускорения доступа.

Скажите, эта ФС мне подойдет? Да и вообще, чего мне почитать по теме?

wasd ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.