LINUX.ORG.RU

Вышла GlusterFS-2.0

 , ,


0

0

Тихо и незаметно вышел релиз 2.0 кластерной файловой системы glusterfs. Данная ФС достаточно проста в установке и очень гибка в настройке благодаря механизму трансляторов (translators), позаимствованому в операционной системе GNU/Hurd.

Список изменений в новой версии и предлагаемые изменения в будущих: http://gluster.org/docs/index.php/Glu...

В весеннем сеансе 2009 года на установке ОКА в Институте Физики Высоких Энергий (Протвино) системой сбора было записано 830 Гигабайт данных на кластер из четырёх узлов хранения (две пары дублирующих друг друга узлов), оборудованных данной ФС. К осеннему сеансу предполагается добавить новые диски на те же узлы кластера, чтобы увеличить объём хранилища до 5-8 Терабайт.

>>> Подробности

★★

Проверено: maxcom ()

Re: вышла GlusterFS-2.0

Вот и Gnu/Hurd чем то пригодился.

Levinskij ()

Re: вышла GlusterFS-2.0

>было записано 830 Гигабайт

>чтобы увеличить объём хранилища до 5-8 Терабайт

Ето много?

sabonez ★☆☆☆ ()

Re: вышла GlusterFS-2.0

не понял 5-8 терабайт?! а чего за объемы то такие детские, да еще только после увеличения... а сейчас сколько?

angel_il ★★★★ ()

Re: вышла GlusterFS-2.0

> системой сбора было записано 830 Гигабайт данных

типичный размер pron ;) на хоум десктопе - один sata диск средней паршивости

реально не понимаю в чем профит

пошел по ссылкам, на сайте документации не нашел, какая то вещь в себе

p.s. необходимо хранить туеву хучу мелких файлов, думал посмотреть... ;(

real_maverick ★★★ ()
Ответ на: Re: вышла GlusterFS-2.0 от real_maverick

Re: вышла GlusterFS-2.0

>реально не понимаю в чем профит

у разрабов не хватает денег на винты, видно же. А сама ФС, судя по всему, поддерживает и большие объёмы данных.

>GlusterFS is a clustered file-system capable of scaling to several peta-bytes

jcd ★★★★★ ()
Ответ на: Re: вышла GlusterFS-2.0 от jcd

Re: вышла GlusterFS-2.0

>у разрабов не хватает денег на винты, видно же. А сама ФС, судя по всему, поддерживает и большие объёмы данных.

Может я чего-то не догоняю, но терабайтные винты уже продаются вроде...

piranha ()
Ответ на: Re: вышла GlusterFS-2.0 от piranha

Re: вышла GlusterFS-2.0

>Может я чего-то не догоняю, но терабайтные винты уже продаются вроде...

ага, и именно на них у них не хватает денег. :) Всё выглядело до безобразия примитивно - нашли 4 винта на 250 гигов, соединили в кластер, поставили туда своё поделие, перекачали на него восемь с половиной сотен гигов порнухи с местного сервера и полученное счастье моментально обмыли.

jcd ★★★★★ ()

Re: вышла GlusterFS-2.0

>830 Гигабайт
>увеличить объём хранилища до 5-8 Терабайт.


Жэсть.

madcore ★★★★★ ()
Ответ на: Re: вышла GlusterFS-2.0 от piranha

Re: вышла GlusterFS-2.0

Эти винты только очень неспешные =( А SAS таких крупных не бывает

ingoa ()
Ответ на: Re: вышла GlusterFS-2.0 от jcd

Re: вышла GlusterFS-2.0

А в массив нельзя было 4 винта соединить? Странные какие-то физики нынче пошли...

piranha ()
Ответ на: Re: вышла GlusterFS-2.0 от piranha

Re: вышла GlusterFS-2.0

>Может я чего-то не догоняю, но терабайтные винты уже продаются вроде...

Ну-ну покажи мне SCSI или SAS на терабайт...

fat_angel ★★★★★ ()
Ответ на: Re: вышла GlusterFS-2.0 от fat_angel

Re: вышла GlusterFS-2.0

>Ну-ну покажи мне SCSI или SAS на терабайт...

А надо обязательно SCSI? Вон гугль всю мировую почту, документы, фотки и еще много чего на SATA дисках держит. И ничего, работает всё... Хотя, конечно, могут иметь место узко-специализированные задачи... Но в наше-то смутное время?

piranha ()
Ответ на: Re: вышла GlusterFS-2.0 от piranha

Re: вышла GlusterFS-2.0

> А надо обязательно SCSI? Вон гугль всю мировую почту, документы, фотки и еще много чего на SATA дисках держит. И ничего, работает всё... Хотя, конечно, могут иметь место узко-специализированные задачи...

Ну если надо регистрировать в реальном времени поток данных от большого количества датчиков, причем замеры при физических экспериментах на ускорителях должны проводиться с дикой скоростью (я даже не могу оценить с какой, спрашивай у физиков), то скорость записи винтов весьма, весьма критична.

xintrea ()
Ответ на: Re: вышла GlusterFS-2.0 от jcd

Re: вышла GlusterFS-2.0

>у разрабов не хватает денег на винты, видно же. А сама ФС, судя по всему, поддерживает и большие объёмы данных.

Нищеброды-програмеры даже не могут толком проверить сколько же потянет их ФС. Прослезился :)

Sherak ★☆ ()
Ответ на: Re: вышла GlusterFS-2.0 от Sherak

Re: вышла GlusterFS-2.0

вот у вас тут всё шуточки и приколы, а чуваки там науку двигают и реально что-то полезное пишут.

isden ★★★★★ ()

Re: вышла GlusterFS-2.0

Физики... Слака в комплекте?

ierton ★★ ()
Ответ на: Re: вышла GlusterFS-2.0 от Sherak

Re: вышла GlusterFS-2.0

> Нищеброды-програмеры даже не могут толком проверить сколько же потянет их ФС. Прослезился :)

Поплачь лучше над своей дислексией, чудо.

tailgunner ★★★★★ ()
Ответ на: Re: вышла GlusterFS-2.0 от isden

Re: вышла GlusterFS-2.0

>вот у вас тут всё шуточки и приколы, а чуваки там науку двигают и реально что-то полезное пишут.

Реальные чуваки в астралах сидят а не в каких-то там институтах высоких энергий :)

Sherak ★☆ ()
Ответ на: Re: вышла GlusterFS-2.0 от xintrea

Re: вышла GlusterFS-2.0

>Ну если надо регистрировать в реальном времени поток данных от большого количества датчиков, причем замеры при физических экспериментах на ускорителях должны проводиться с дикой скоростью (я даже не могу оценить с какой, спрашивай у физиков), то скорость записи винтов весьма, весьма критична.

А ОЗУ для чего придумали, имхо SCSI не нужен, SATA вполне хватит

MaxPower ()
Ответ на: Re: вышла GlusterFS-2.0 от MaxPower

Re: вышла GlusterFS-2.0

>А ОЗУ для чего придумали

800 гигов оперативки продашь?

>имхо SCSI не нужен, SATA вполне хватит


Сата - отстой для нищебродов, скази - труЪ. Хотя бы потому что диски несколько "умнее" и завалов при чтении/записи не возникает.

DNA_Seq ★★☆☆☆ ()

Re: вышла GlusterFS-2.0

А кто нибудь может внятно объяснить, чем они, эти все кластерные файловые системы отличаются? Я вот тут озадачился выбором системы распределённого хранения (проектирую тут кой чего), вот и думаю: lustre или GFS? А может этот Gluster? Может есть у кого не только опыт чтения интернетовских статей?

gns ★★★★ ()
Ответ на: Re: вышла GlusterFS-2.0 от maxcom

Re: вышла GlusterFS-2.0

>http://price.ru/bin/price/prodlist?curr=2&vcid=010803&pnam=sas 1tb&base=1&where=2&sort=1&acod=incity&cid=070111

Так ведь там все винты 7200. Надежность у них конечно высокая но вот скорость? Плюс они всеравно примерно в 1.5-2 раза дороже аналогичных SATA, поэтому упреки различных личностей в нишебродстве мимо кассы.

fat_angel ★★★★★ ()
Ответ на: Re: вышла GlusterFS-2.0 от MaxPower

Re: вышла GlusterFS-2.0

>Те же деньги лучше потратить на RAID массив из SATA.

А если еще учесть стоимость обслуживания массивов из SOHO дисков.

fat_angel ★★★★★ ()
Ответ на: Re: вышла GlusterFS-2.0 от fat_angel

Re: вышла GlusterFS-2.0

>А если еще учесть стоимость обслуживания массивов из SOHO дисков.

С расценками не ознакомите, просто интересно стало насколько оно дороже обслуживания обычных SOHO дисков.

MaxPower ()

Re: вышла GlusterFS-2.0

Насколько я понимаю glusterfs по функциям сравнима с gpfs от ibm, только скорость будет медленнее, но зато не придётся башлять ibm по 300 бакинских за процессор, типа лицензия, т.е. можно забацать себе расширяемый SAN для бедных

dimon555 ★★★★★ ()
Ответ на: Re: вышла GlusterFS-2.0 от MaxPower

Re: вышла GlusterFS-2.0

Сата слишком тупой для райдов. Скази же именно для райдов и разрабатывался. Семь устройств на одном канале с одновременной передачей данных это не шутка

DNA_Seq ★★☆☆☆ ()
Ответ на: Re: вышла GlusterFS-2.0 от MaxPower

Re: вышла GlusterFS-2.0

>С расценками не ознакомите

Да я как бе и не в курсе, но логика подсказывает, что с учетом более частого выхода из строя (основываясь на статистике), обслуживание должно быть дороже.

fat_angel ★★★★★ ()
Ответ на: Re: вышла GlusterFS-2.0 от DNA_Seq

Re: вышла GlusterFS-2.0

>Сата слишком тупой для райдов. Скази же именно для райдов и разрабатывался.

Таки скази вроде как R.I.P. ему на смену пришол SAS?

//Не троллю, понятно что скази будет еще очень долго жить, но разработки в этой области ЕМНИП свернуты.

fat_angel ★★★★★ ()
Ответ на: Re: вышла GlusterFS-2.0 от xintrea

Re: вышла GlusterFS-2.0

Не путайте теплое с мягким.
При большом количестве мелких операций записи/чтения нужна не скорость линейной записи а количество операций в секунду.
На линейных потоках SATA нормально себя ведут с хорошими контроллерами.
А вот если но обеспечить IOPS-ы (в основном базы данных) то тут пока SAS/SSD вне конкуренции.

Fastman ()
Ответ на: Re: вышла GlusterFS-2.0 от xintrea

Re: вышла GlusterFS-2.0

> то скорость записи винтов весьма, весьма критична.

Если ты про последовательную запись (в один поток), то можешь хоть IDE использовать.

Liosha_Syrnikov ()
Ответ на: Re: вышла GlusterFS-2.0 от angel_il

Re: вышла GlusterFS-2.0

> не понял 5-8 терабайт?! а чего за объемы то такие детские, да еще только после увеличения... а сейчас сколько?

сейчас подключено 4 диска по 500 Гигабайт на 4 узлах (диски покупались когда Терабайтных на рынке ещё не было), я же написал, дублирующие узлы, поэтому суммарный объём хранилища 1ТБ, а "сырой" 2ТБ. В любой момент можно из 4-х узлов выключить два, по одному в каждой паре (отказ/настройка/etc), даже в этом случае все данные будут доступны, после подключения узла хранения обратно есть примитивная процедура запуска синхронизации данных на подключенном узле (самовосстановление кластерной ФС), что я проверил, более 100 ГБ данных были записаны на один узел, а затем дублированы на другой при самовосстановлении, где диск был случайно отключен некоторое время ;). Сейчас есть proof of concept, можно покупать 1.5-2 Терабайтные диски и устанавливать в узлы. Объём 5-8 Терабайт это 10-16 "сырых" не дублированных. Расширять можно до Петабайтов без проблем со стороны ФС. Данные с разных узлов читаются естественно в параллель, разработчики обещают доделать балансировку нагрузки чтения с дублирующих узлов. Гигабитный SAN это дешёвое решение, в нашем случае оно подходит, практически в 100% случаев данные читаются заданиями последовательно, задержки интерконнекта не волнуют. Кто не умеет считать деньги, у того их не будет хватать всё время ;)

Если вам нужно выбрать кластерную ФС, то советовать выбрать glusterfs я не буду, поскольку кластерные ФС активно развиваются и выбирать лучше под конкретный набор требований после тестирования.

filin ★★ ()
Ответ на: Re: вышла GlusterFS-2.0 от filin

Re: вышла GlusterFS-2.0

5-8 ТБ помещаются в ОДНОМ писюке, не говоря про более ынтырпрайз решения. не понял чем тут вообще гордятся. в какой-нибудь супермикро sc-826 влезет 12 хардов по 2 ТБ, на фоне этого на новость хочется сказать "молодец, возьми с полки пирожок"

yellowMegaMan ()
Ответ на: Re: вышла GlusterFS-2.0 от filin

Re: вышла GlusterFS-2.0

Умеет-ли GlusterFS хранить файлы больших размеров (больше чем физический диск)?

Lucky ★★ ()
Ответ на: Re: вышла GlusterFS-2.0 от yellowMegaMan

Re: вышла GlusterFS-2.0

>супермикро sc-826 влезет 12 хардов по 2 ТБ, на фоне этого на новость хочется сказать "молодец, возьми с полки пирожок"

когда там плата контроллера сдохнет можешь два пирожка взять, а как туда ещё 12 хардов засунуть?

dimon555 ★★★★★ ()

Re: Вышла GlusterFS-2.0

> механизму трансляторов (translators), позаимствованому в операционной системе GNU/Hurd.

> Вот и Gnu/Hurd чем то пригодился.

В Гну/УщербЪ трансляторы позаимствовали из БЕОСи, так что не очень то и пригодился.

vasdi ()
Ответ на: Re: Вышла GlusterFS-2.0 от vasdi

Re: Вышла GlusterFS-2.0

> В Гну/УщербЪ трансляторы позаимствовали из БЕОСи

GNU/Hurd придумал их задолго до появления BeOS.

tailgunner ★★★★★ ()

Re: Вышла GlusterFS-2.0

Давно на гластер посматриваю хотя сейчас вот это использую

ss@hyperblade-master:~> df -H -t pvfs2
Файловая система       Разм   Исп   Дост  Исп% смонтирована на
tcp://hyperblade-master:3334/pvfs2-fs
                       5,6T   3,6T   2,0T  65% /mnt/pvfs2

sS ★★★★★ ()
Ответ на: Re: вышла GlusterFS-2.0 от yellowMegaMan

Re: вышла GlusterFS-2.0

> 5-8 ТБ помещаются в ОДНОМ писюке

ещё раз, данные с разных нод читаются параллельно, агрегатная скорость - сумма скоростей интерфейсов узлов хранения, добавлять узлы можно пока есть потребность, диски на ВСЕХ узлах видны как единое хранилище

filin ★★ ()
Ответ на: Re: вышла GlusterFS-2.0 от filin

Re: вышла GlusterFS-2.0

> данные с разных нод читаются параллельно, агрегатная скорость - сумма скоростей интерфейсов узлов

Боттлнек будет в толщине одного интерфейса :)

(если не юзается ROMIO или еще какие хитрости)

sS ★★★★★ ()
Ответ на: Re: вышла GlusterFS-2.0 от Lucky

Re: вышла GlusterFS-2.0

> Умеет-ли GlusterFS хранить файлы больших размеров (больше чем физический диск)?

http://gluster.org/docs/index.php/Translators_v2.0#Stripe_Translator http://www.gluster.org/docs/index.php/GlusterFS_FAQ#You_say_striping_is_bad.2...

одна из причин существования stripe xlator это возможность иметь файл не умещающийся на одной ноде хранения

filin ★★ ()
Ответ на: Re: вышла GlusterFS-2.0 от sS

Re: вышла GlusterFS-2.0

> Боттлнек будет в толщине одного интерфейса :)

я говорю о суммарной скорости доступа к хранилищу, а не скорости доступа к данным от одного клиента ;)

filin ★★ ()
Ответ на: Re: вышла GlusterFS-2.0 от filin

Re: вышла GlusterFS-2.0

>я говорю о суммарной скорости доступа к хранилищу, а не скорости доступа к данным от одного клиента ;)

Другими словами суммарная температура по больнице может быть выше чем температура на солнце (включая обитателей морга) ;)

sS ★★★★★ ()
Ответ на: Re: вышла GlusterFS-2.0 от fat_angel

Re: вышла GlusterFS-2.0

> Таки скази вроде как R.I.P. ему на смену пришол SAS?

SAS это и есть скази...

deis ()
Ответ на: Re: вышла GlusterFS-2.0 от DNA_Seq

Re: вышла GlusterFS-2.0

> Сата слишком тупой для райдов. Скази же именно для райдов и разрабатывался. Семь устройств на одном канале с одновременной передачей данных это не шутка

Боюсь, у меня для тебя плохие новости.. ))) Времена, когда все диски нужно было вешать на один канал закончились в райное 2000-ого года. Сейчас почти все контролеры работают с дисками обеих типов и цепляют их каждый на отдельный канал.

По большому счёту это уже вопрос понтов. Пока будут суровые дядьки за 40-ник с тяжело нажитым опытом 90-ых верить, что только скази - луч света в их тёмном цартсве, скази, конечно, на рынке будут. )))

LamerOk ★★★★★ ()

Re: Вышла GlusterFS-2.0

на прошлой неделе по скидке прикупил терабайтовый САТА за 99 долларов.
Заметил что минимум цены за гигабайт - недавно уже сместился на 1.5Т диски (~$150).
2ТБ стоят пока дороже ($350).

Так что 9Т - это 6 дисков - будет работать под самым дешёвым писюком сегодня (и стоить меньше штуки: $900)

siberean ()

Re: Вышла GlusterFS-2.0

у нас на кластере стоит сабж уже год, в начале были кое-какие проблемы, сейчас тьфу-тьфу работает, но обновлюсь =) А глюки проявлялись под большой нагрузкой.

WerNA ★★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.