LINUX.ORG.RU

«Открытый» дисковый массив на 67 Тб

 blackblaze, , ,


0

1

Разработчики из компании Backblaze ( предоставляющей услуги по хранению неограниченного объема данных клиентов за помесячную плату) открыли в общий доступ конструкцию разработанного ими «супернакопителя» The Pod («Стручок») объёмом до 67 терабайт данных с постоянным доступом через протокол HTTPS.

Цена такого накопителя при изготовлении собственными руками составляет менее 8 тысяч долларов – это намного меньше, чем предлагают именитые производители.

Программная начинка состоит из связки Apache+Tomcat.

Схемы и описание устройства

Спецификация

>>> Подробности

Ответ на: комментарий от mgdn

> Мне-то что доказываешь? :) Я тоже не понимаю смысла этой погремушки.

я про то, что собрать ее сможет только истинный джедай

xpahos ★★★★★
()
Ответ на: комментарий от Slackware_user

Наколенная поделка.

Ребята, конечно, молодцы, но поделка очень наколенная.

Во-первых, НЖМД ставятся без салазок горячей замены.
Во-вторых, блоки питания там обычные ATX, тоже горячей замены нет.

Итоговая оценка: незачёт.

Camel ★★★★★
()
Ответ на: комментарий от IBAH

>Что будет, если они включатся или выключатся не одновременно?

Нихрена не будет. БП работают не паралельно - каждый отвечает за свою часть дисков. Катастрофы не будет, даже если один из них не включится вообще.

S_wine
()
Ответ на: комментарий от anonymous

Похоже на INWIN'овский корпус с лапками :)
А подробности? Во сколько обошёлся, сколько места, сильно ли шумит и где в квартире установлен? Какая начинка, как диски объединены и какие функции выполняет?

cyberax
()
Ответ на: комментарий от xpahos

> Я не знаю где брали по 43 бакса контроллеры, но нормальный SATA контроллер с BBU стоит порядка $1000-1500.

Там же написано, что они брали какое-то говно 4х портовое. А такие контроллеры можно и за 10$ найти. Да и зачем наколенному хранилищу контроллеры по 1500$ ?

Reset ★★★★★
()
Ответ на: комментарий от Reset

да местные аналитики-критиканы смотрю кроме фиброканала ничего не признают. ага ага. и много у них интересно санковых фибрух...

dk-
()

Мне вот интересно: они данные клиентов зеркалят или хранят лишь одну копию, которая умрет при выходе из строя одного такого сервера?

Harliff ★★★★★
()
Ответ на: комментарий от Harliff

> Мне вот интересно: они данные клиентов зеркалят или хранят лишь одну копию, которая умрет при выходе из строя одного такого сервера?

А ты статью прочитай, там об этом недвусмысленно сказано

Manhunt ★★★★★
()
Ответ на: комментарий от madcore

То был мой пост. На эмоциях слажал и написал про четыре юнита а на самом деле их два :). Не скажу вендора, закидают какашками. Но любой человек который работал в датацентре подтвердит что ломается всё.

Про серваки sun ничего не скажу, сам не юзал. Зато про intel, supermicro, ibm, fujitsu-siemens(были и такие, ппц полный), hp, dell, compaq насмотрелся, брак среди них есть.

true_admin ★★★★★
()
Ответ на: комментарий от xpahos

> Привет, как там с зарплатой в гугле ? Может я к вам устроюсь там ? :)

С зарплатой в Гугле хорошо ;-) Устраивайся)))

Гугловые стойки собраны из десктопного железа, конструкция очень похожа на самопал. Пруф: http://www.youtube.com/watch?v=zRwPSFpLX8I

liksys ★★★★
()

Кстати ещё, на тему самодельных домашних дисковых сетевых сторэджей. Их ведь бэкапить рекомендуется, поэтому сразу надо собирать ещё один такой. Макосники вон с Time Machine парятся - если много видео/фото контента в неё попадает, то мгновенно место съедается.

По хорошему надо какие-то теги или значения приоритета/важности для файлов выставлять и исходя из них бэкапить выборочно или в разные хранилища. Можно ли такое тегирование на базе ext3 extended attributes в линуксе реализовать? И умеет ли к примеру rsync по ним фильтровать файлы?

cyberax
()

а вот есть ли свободные системы миграции хранимых файлов по признаку активности их использования... ну например никто файл не запрашивает неделю, файл сбрасывается на медленную систему большой ёмкости. часто запрашиваемый файл сбрасывается на быстрый райд небольшой емкости. еще чаще сапрашиваемый на ssd диск...

а снаружи все продолжает выглядеть просто большой файловой системой

psv1967 ★★★★★
()
Ответ на: комментарий от psv1967

psv1967,
как-то читал статью про ютуб.
он именно так и организован

популярное файло перемещается на серваки более быстрые и с более жирным каналом.

на русском кстати было. но линка не приведу

dk-
()

Вообще раз уж такая пьянка то какого ж они рожна ставят туда Seagate 7200.11?

Там вообще вот Это

Barracuda ES.2 SATA 3.0-Gb/s 1-TB Hard Drive

ST31000340NS

стоять должно.

а не десктопный хард для геймеров...

Slackware_user ★★★★★
()

А для чего используются подобные штуки? Не издеваюсь, просто у меня на винтах суммарно 200 Гб на компе и ноуте, и этого прекрасно хватает. Не баран, понимаю что это не для домашнего использования, но на какие сервера нужно столько места? Ну, для серва с потоковым видео или для файл-сервера крупных сетей вроде AOL? Просто не думаю что на таких крупных сервах народ на коленке будет собирать массив, им проще заказать имхо, да и поддержка будет от поставщика. А тем кто по-мельче - не думаю что им надо так много

upcFrost ★★★★★
()
Ответ на: комментарий от upcFrost

Для предоставления на хреновой куче таких железок места под бекапы хреновой куче пользователей.

rusty_angel
()
Ответ на: комментарий от upcFrost

Они ж storage provider'ы для бэкапов.

Не, ну после такого перформанса, они быть таковыми перестанут))). Я бы от них слинял точно.

IBAH
()
Ответ на: комментарий от S_wine

> Нихрена не будет. БП работают не паралельно - каждый отвечает за свою часть дисков. Катастрофы не будет, даже если один из них не включится вообще.

Один БП умрёт, и что мы получим? Из райда 6 выпадет куча дисков, райд не подлежит восстановлению. ПЦ.

Arceny ★★
()
Ответ на: комментарий от IBAH

>Не, ну после такого перформанса, они быть таковыми перестанут))). Я бы от них слинял точно.

Беда с этими экспертами... Одна такая нода у них - это по сути один здоровый винт, и не больше. Выпадаение нескольких винтов не повлияет на работоспособность ноды. Выпадание одной ноды не скажется на общей сохранности данных. Им даже менять винты вовремя не надо. Только если будет готов рассыпаться один из трёх массивов на ноде (а может и если вообще рассыпется). Тогда нода гасится, извлекается, дохлые винты заменяются - и назад. Дёшево, сердито, эффективно и надёжно.

rusty_angel
()
Ответ на: комментарий от Arceny

>Один БП умрёт, и что мы получим? Из райда 6 выпадет куча дисков, райд не подлежит восстановлению. ПЦ.

И? Погасили ноду, заменили сгоревшее, вернули обратно. У них там целые датацентры таких железок, все данные многократно дублируются.

rusty_angel
()
Ответ на: комментарий от liksys

> Гугловые стойки собраны из десктопного железа, конструкция очень похожа на самопал. Пруф: http://www.youtube.com/watch?v=zRwPSFpLX8I

Мальчик, ты сильно заблуждаешься. Это собранные на заказ блейды. Ты можешь погуглить и найти, что Tyan(имхо) занимается как раз их разработкой. Там где-то за бугром электричество стоит гораздо дороже чем у нас, поэтому(да и не только) там стараются оптимизировать все. Идея с контейнерами великолепна для большой компании, для клауд кампьютинга. Это тебе не пепелаци с фоксконовскими и генезисоквскими корпусами.

xpahos ★★★★★
()
Ответ на: комментарий от rusty_angel

>Одна такая нода у них - это по сути один здоровый винт, и не больше. Выпадаение нескольких винтов не повлияет на работоспособность ноды.

Действительно, беда с этими экспертами. Логики совсем нет.

Подумай. Если ты отрежешь кусок от пластины винта, он будет работать?

IBAH
()
Ответ на: комментарий от IBAH

>Подумай. Если ты отрежешь кусок от пластины винта, он будет работать?

Ты таки правда думаешь, что все данные там у них в единственном экземпляре? Одна нода лоад-балансеру не ответила - и йух с ней, на следующую за контентом полезет, делов-то.

rusty_angel
()
Ответ на: комментарий от anonymous

> Ответ SUNтехника: http://www.c0t0d0s0.org/archives/5899-Some-perspective-to-this-DIY-storage-se...

Мне там коммент понравился - "Stop charging 3x the amount for the drives and we'll consider Sun. We tried to get the J4200 and it wasn't possible to buy the array with the trays and no drives. We bought WD RE4 drives and another manufacturers drive array because we couldn't justify paying such a ridiculous premium on drives. We bought the server from sun with minimal disks and OEM drive carriers."

sersto
()
Ответ на: комментарий от Arceny

Ну можно и переделать поставит какой нибудь мощный слегка переделаный гамерский 750ватник с забором 12В и от разьемов под видеокарту на часть винтов а второй слабый БП поставить на мать и загрузочный но это частности сама идея класная например для организации файлопомоек провайдеров и каких нибудь uploadbox ов где никаких гарантий на сохранность не надо а нужен максимальный объем при умеренных скоростных характеристиках Уже мечтаю о стойке из 4 подобных аппаратиков

moor
()
Ответ на: комментарий от IBAH

>Если они так экономят на железе - уверен.

Экспертик, родненький, ты ведь знаешь, что значит буква I в акрониме RAID? Ну знаешь ведь, правда?

rusty_angel
()
Ответ на: комментарий от IBAH

>>что все данные там у них в единственном экземпляре?

>Если они так экономят на железе - уверен.

Скорее затем и экономят, что таких дур там цельный стадион и экономия на десятке таких хреней очень даже ощутима.

Sanitar
()
Ответ на: комментарий от sersto

>Stop charging 3x the amount for the drives and we'll consider Sun.

Что ж они Сан-то покупают, если у них денег нет?

IBAH
()
Ответ на: комментарий от rusty_angel

>Ну знаешь ведь, правда?

Разумеется.))))))

А еще я знаю, что если в RAID6 вылетит больше половины дисков (в случае Backblaze это очень возможно из-за раздельной схемы питания), то ему капут. Вот если б они два блока свели, грубо говоря, в один чем-то вроде балансной платы, то не было б такого.

IBAH
()
Ответ на: комментарий от IBAH

>А еще я знаю, что если в RAID6 вылетит больше половины дисков (в случае Backblaze это очень возможно из-за раздельной схемы питания), то ему капут.

Опять же: и? Капут - погасят, заменят дохлые части, поставят обратно. Так дешевле и эффективнее при таких объёмах.

rusty_angel
()

>In the event of a system failure while there are active writes, the parity of a stripe may become inconsistent with the data. If this is not detected and repaired before a disk or block fails, data loss may ensue as incorrect parity will be used to reconstruct the missing block in that stripe. This potential vulnerability is sometimes known as the write hole. Battery-backed cache and similar techniques are commonly used to reduce the window of opportunity for this to occur. The same issue occurs for RAID-6.

Википедия говорит, что с такими-то массивами может случится нехорошее.

IBAH
()
Ответ на: комментарий от IBAH

> Они ж storage provider'ы для бэкапов. > Не, ну после такого перформанса, они быть таковыми перестанут))). Я бы от них слинял точно.

Ты их сначала заDoSь со своего 56к модема, а потом уже осуждай :)

sersto
()
Ответ на: комментарий от sersto

>Ты их сначала заDoSь со своего 56к модема

Доброе утро, Фрай! Аналоговые модемы вымерли больше пяти лет назад.

IBAH
()
Ответ на: комментарий от IBAH

>>Ты их сначала заDoSь со своего 56к модема

>Доброе утро, Фрай! Аналоговые модемы вымерли больше пяти лет назад.

Ошибаешься. Три месяца назад, поднимал Exchange по диалапу, так как быдло сеть в доме не работала, ADLS-пров не работал....

zooooo
()
Ответ на: комментарий от IBAH

>Это, может быть, для тебя "пф, и чо?". А для заказчика услуг хранения это потеря данных.

Ты так и не понял, к чему я про Inexpensive тебя спросил :) Они собирают большую систему (их сервис вцелом) из максимально дешёвых компонент (отдельных железок с 45 винтами). И избыточность обеспечивается на высоком уровне.

А рейды внутри нод - это минимальные меры для того, чтобы сбалансировать стоимость ноды и затраты на восстановление/замену.

rusty_angel
()
Ответ на: комментарий от Slackware_user

ты что не слышал о глюках в прошивке 7200,11 и es2 в конце прошлого года и начале нынешнего? куча народу данные потеряла. я в том числе.

sh_topor
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.