LINUX.ORG.RU

«Открытый» дисковый массив на 67 Тб

 , , ,


0

1

Разработчики из компании Backblaze ( предоставляющей услуги по хранению неограниченного объема данных клиентов за помесячную плату) открыли в общий доступ конструкцию разработанного ими «супернакопителя» The Pod («Стручок») объёмом до 67 терабайт данных с постоянным доступом через протокол HTTPS.

Цена такого накопителя при изготовлении собственными руками составляет менее 8 тысяч долларов – это намного меньше, чем предлагают именитые производители.

Программная начинка состоит из связки Apache+Tomcat.

Схемы и описание устройства

Спецификация

>>> Подробности

Re: "Открытый" дисковый массив на 67 Тб

А что, засунуть в компьютер пачку дисков, несколько контроллеров и поставить туда линукс стало проблемой?

mgdn ()

Re: "Открытый" дисковый массив на 67 Тб

Просто адская плотность набивки дисковых накопителей в этот ящик... И щито с тепловыделением/теплоотводом у заморских инженеров проблем прям нету?

oc ()

Re: "Открытый" дисковый массив на 67 Тб

>неограниченного объема данных
>объёмом до 67 терабайт


>доступом через протокол HTTPS

madcore ★★★★★ ()

ua9oas

Запрашивает Миша Рыцаревъ: интересно, а сколько все это сооружение "жрет"? А какие интересно характеристики будут иметь "винты" через несколько лет и лет через 10? А флешки? А будут-ли дешеветь SSD накопители? А почему они такие дорогие? А кто продает все это по самым выгодным ценам? (насколько все это в Китае стоит дешевле, чем у нас, на Руси?)

ua9oas ()
Ответ на: Re: "Открытый" дисковый массив на 67 Тб от madcore

Re: "Открытый" дисковый массив на 67 Тб

>неограниченного объема данных ага. прикинь сколько ты будешь заливать хотябы 30 терабайт на томже самом ADSL или 10мегабит канале. так что всё нормально.

lv77 ★★★ ()
Ответ на: ua9oas от ua9oas

Re: ua9oas

много будешь знать - скоро состаришься

Reset ★★★★★ ()
Ответ на: Re: "Открытый" дисковый массив на 67 Тб от lv77

Re: "Открытый" дисковый массив на 67 Тб

>прикинь сколько ты будешь заливать хотябы 30 терабайт на томже самом ADSL или 10мегабит канале. так что всё нормально.

Предполагается, что у меня есть средства и на услугу хранения, и на нормальный канал.

madcore ★★★★★ ()

Re: "Открытый" дисковый массив на 67 Тб

молодцы ребята.

только УПАСИ Бог туда чуть более жрущие харды ставить...

за самопальный корпус отдельный зачет :)

Slackware_user ★★★★★ ()
Ответ на: Re: "Открытый" дисковый массив на 67 Тб от anonymous

Re: "Открытый" дисковый массив на 67 Тб

> Ответ SUNтехника: http://www.c0t0d0s0.org/archives/5899-Some-perspective-to-this-DIY-storage-se...

Уже который раз убеждаюсь в высказывании: "Мы не настолько богаты, чтобы покупать дешевые вещи".

Astyanax ()
Ответ на: Re: "Открытый" дисковый массив на 67 Тб от mgdn

Re:

> А что, засунуть в компьютер пачку дисков, несколько контроллеров и поставить туда линукс стало проблемой?

1. Корпус с возможностью замены всех этих дисков
2. Бэкплейны для всего этого дела
3. HPC(?) для подключения нужного количества контроллеров
4. Количество блоков питания
5. И самое главное, нужно все это охладить.

xpahos ★★★★★ ()

Re: "Открытый" дисковый массив на 67 Тб

интересно где они корпус заказывали ?

xtron ()

Re: "Открытый" дисковый массив на 67 Тб

>Обслуживанием накопителя занимается операционная система Debian Libux 4

мде

anonymous ()

Re: "Открытый" дисковый массив на 67 Тб

"Free Trial for Windows XP, Vista"?

Нет пути!

anonymous ()
Ответ на: Re: "Открытый" дисковый массив на 67 Тб от Astyanax

Re: "Открытый" дисковый массив на 67 Тб

> Уже который раз убеждаюсь в высказывании: "Мы не настолько богаты, чтобы покупать дешевые вещи".

На это Google ответила своей статистикой - мы не настолько богаты что-бы переплачивать за дорогие винты, если они выходят из строя с тем же постоянством, что и не дорогие. И рассуждения чувака из Sun о "AFR and MTBF", "2400 hours of operation per year. But a year has 8760 hours." - фуфло.

Да и насчёт теории по погрузке и скорости он как бы тоже лечит пиковыми вещами, а реальность - зачем платить максимум скорости, когда нужна лишь треть её. Судя по [url=http://blog.backblaze.com/wp-content/uploads/2009/08/tim-datacenter-servers.j...] в конторе умеют считать нагрузку.

И о системной плате DG43NB, с 1 процессором и озу в 4Gb он рассуждает так как о типичном сервере.

А по факту эту железку надо рассматривать, как один большой винт на 64TB, со средними характеристиками.

Резонно лишь замечание о отсутствии батарей у контроллеров...

rnz ()
Ответ на: Re: "Открытый" дисковый массив на 67 Тб от madcore

Re: "Открытый" дисковый массив на 67 Тб

5 долларов в месяц - стоимость услуги.

Вы смешали в кучу то, что они объясняют как создать устройство хранения на 67 терабайт за 8 килобаксов и то, что они предлагают услугу хранения "неограниченного" количества байт.

eugene2k ()

Re: "Открытый" дисковый массив на 67 Тб

Очень грамотно организовано. Парни молодцы.

Manhunt ★★★★★ ()

Re: "Открытый" дисковый массив на 67 Тб

мне понравилась конструкция

а БП похож на Zippy Emacs :)

dagger ()
Ответ на: Re: "Открытый" дисковый массив на 67 Тб от anonymous

Re: "Открытый" дисковый массив на 67 Тб

Ответ сантехника резонен, но есть нюансы. С производительностью ничего не сделаешь, а вот если принять некоторые шаги по резервированию то будет вполне юзабельно. Т.е. построить два таких независимых диско-кластера дешевле чем решения от других вендоров.

true_admin ★★★★★ ()

Re: "Открытый" дисковый массив на 67 Тб

Корпус зачетный. Весьма...

Кстати, кто-нибудь их бэкапным сервисом пользовался?

Harliff ★★★★★ ()
Ответ на: Re: "Открытый" дисковый массив на 67 Тб от Harliff

Re: "Открытый" дисковый массив на 67 Тб

С сайта:

"Is Backblaze going to offer Linux support?"

We would love to do a Linux version of Backblaze. However, we are currently focused on making the best online backup experience for Mac and Windows. The good thing is that the code is cross-platform so when we do release a Linux version it will benefit from all the improvements we've made for the Mac and Windows versions. Right now we don't have any support for public API's for people to upload/download to the Backblaze storage servers.

:(

Harliff ★★★★★ ()
Ответ на: Re: "Открытый" дисковый массив на 67 Тб от true_admin

Re: "Открытый" дисковый массив на 67 Тб

> а вот если принять некоторые шаги по резервированию то будет вполне юзабельно. Т.е. построить два таких независимых диско-кластера

В статье об этом прямо говорится: Backblaze Storage Pods are building blocks upon which a larger system can be organized that doesn’t allow for a single point of failure. Each pod in itself is just a big chunk of raw storage for an inexpensive price; it is not a “solution” in itself.

Manhunt ★★★★★ ()
Ответ на: Re: от xpahos

Re:

и 6. Вибрация от такого количества HDD.

GladAlex ★★★★★ ()
Ответ на: Re: "Открытый" дисковый массив на 67 Тб от madcore

Re: "Открытый" дисковый массив на 67 Тб

> А конторка хвастается, что хранит данные клиентов на наколеночной поделке.

Чем эта "наколенная поделка" хуже заводской? Отсутствием логотипа SUN, IBM, DELL, HP, etc.?

andreyu ★★★★★ ()
Ответ на: Re: "Открытый" дисковый массив на 67 Тб от andreyu

Re: "Открытый" дисковый массив на 67 Тб

во во

ни ужели вы думаете что они вкидывают 8килобаксов в железо а оно потом не работает или мрет?!

корпус добротный. просветы меж винтов кажутся мелкими... это да. но протянут кулеры. просто вой дикий.

железка отличная.

dk- ()
Ответ на: Re: "Открытый" дисковый массив на 67 Тб от xtron

Re: "Открытый" дисковый массив на 67 Тб

> интересно где они корпус заказывали ?

Мона наинженерить чертёж. А дядя Вася с завода всё сделает за немного денег или бутылок.

Arceny ★★ ()
Ответ на: Re: "Открытый" дисковый массив на 67 Тб от madcore

Re: "Открытый" дисковый массив на 67 Тб

> А конторка хвастается, что хранит данные клиентов на наколеночной поделке.

Ты в курсе, из чего Google собирает свои стойки серверные?

liksys ★★ ()
Ответ на: Re: "Открытый" дисковый массив на 67 Тб от andreyu

Re: "Открытый" дисковый массив на 67 Тб

>Чем эта "наколенная поделка" хуже заводской?

Дешевые комплектующие для десктопов (сделаны без учета серверных нагрузок, етц), два PSU без схемы дистрибуции питания, пропускная SATA превышена и SATA-контроллеры без резервного питания.

Нирикаминдую для сириус бизнеса.

IBAH ()
Ответ на: Re: "Открытый" дисковый массив на 67 Тб от IBAH

Re: "Открытый" дисковый массив на 67 Тб

IBAH,
ну как бы да. и что?
не везде нужно перечисленное.
да и нормальные питальники без всяких извратов нормально вместе работают.

dk- ()
Ответ на: Re: "Открытый" дисковый массив на 67 Тб от dk-

Re: "Открытый" дисковый массив на 67 Тб

>а оно потом не работает или мрет?!

Хорошие технологии на паблик не открывают. Хорошие технологии держат за семью замками.

Хотя, если поставить надежные харды, серверные контроллеры, серверную же мат.плату с железячками по мощнее, приладить свой кастомный БП в количестве одной штуки - будет неплохая контент-помойка для провайдера, например. Но будет ли эта конструкция дешевле, скажем, Дэловских?

IBAH ()
Ответ на: Re: "Открытый" дисковый массив на 67 Тб от dk-

Re: "Открытый" дисковый массив на 67 Тб

>не везде нужно перечисленное.

Эдакая нишевая шайтан-коробка, да. Но я бы такие не поставил бы даже в качестве медиаконтент-сервера. Риск данные просрать зело велик.

IBAH ()
Ответ на: Re: "Открытый" дисковый массив на 67 Тб от andreyu

Re:

> Чем эта "наколенная поделка" хуже заводской? Отсутствием логотипа SUN, IBM, DELL, HP, etc.?

1. Отсутствие гарантии
2. Непродуманное питание
3. Плохая вентиляция

xpahos ★★★★★ ()
Ответ на: Re: "Открытый" дисковый массив на 67 Тб от andreyu

Re: "Открытый" дисковый массив на 67 Тб

>Чем эта "наколенная поделка" хуже заводской? Отсутствием логотипа SUN, IBM, DELL, HP, etc.?

Кроме прочих параметров, отказоустойчивостью.
Хотя не спорю, для определенных ниш переплачивать смысла нет.

madcore ★★★★★ ()
Ответ на: Re: "Открытый" дисковый массив на 67 Тб от IBAH

Re: "Открытый" дисковый массив на 67 Тб

gfs поверх нескольких таких ящиков вполне отказоустойчивое решение. Да при этом стоимость растет в два раза. Но и производительность кластера растет тоже в два раза.

Что то схемки платки в которую втыкаются диски не заметил... Насколько ее дорого делать интересно?

psv1967 ★★★★★ ()
Ответ на: Re: от xpahos

Re:

Проблема только в бэкплейнах, я думаю. Корпус заказной не так сложно сделать, несколько бп соединит даже школьник. Контроллеров же, как видно, четыре (из них три двухпортовые - можно легко обойтись тремя четырехпортовыми). В серверную материнку их можно легко поставить. Контроллеры, кстати, со средней ценой в сорок три бакса. Серверней некуда.

mgdn ()
Ответ на: Re: от mgdn

Re:

Невнимательно прочитал статью - бэкплейны, похоже фабричные, не заказные. Ну а о пяти дисках на одном канале SATA уже сказано.

mgdn ()
Ответ на: Re: от mgdn

Re:

>несколько бп соединит даже школьник

Дадада, один сраный серенький проводок. Но такая система не надежна. Что будет, если они включатся или выключатся не одновременно? По хорошему БП надо сводить специальной кастомной платой с лоад балансом и блекджеком.

>Серверней некуда

Ага, без батареек для защиты кеша.

IBAH ()

Re: "Открытый" дисковый массив на 67 Тб

ох щит. сколько же ему надо охлаждения...

bernd ★★★★★ ()

Re: "Открытый" дисковый массив на 67 Тб

Нарушил традиции, прошел по ссылке.

>Обслуживанием накопителя занимается операционная система Debian Libux 4

>Debian Libux 4

>Libux

facepalm.jpg

oguretz ()
Ответ на: Re: от IBAH

Re:

>система не надежна

А десктопные винты надежны? А дешевая матплата? Можно спорить долго, но если все описанное сделать

>По хорошему

, то цена будет, опять же другой.

mgdn ()
Ответ на: Re: от mgdn

Re:

> Проблема только в бэкплейнах, я думаю. Корпус заказной не так сложно сделать, несколько бп соединит даже школьник. Контроллеров же, как видно, четыре (из них три двухпортовые - можно легко обойтись тремя четырехпортовыми). В серверную материнку их можно легко поставить. Контроллеры, кстати, со средней ценой в сорок три бакса. Серверней некуда.

Я не знаю где брали по 43 бакса контроллеры, но нормальный SATA контроллер с BBU стоит порядка $1000-1500. Это приблизительно 16-ти дисковый RAID 0+1, берем средненькие 750-1000 Гб WD($200) и получаем около 8 Тб массив. Какую серверную материнскую плату возьмем ? Tyan Thunder n6650W $500 - $600. Итого 4 x PCI-E, 2 x PCI-X - 48 Тб. Получаем около $30 000. Процессоры 4 x $700. Память не знаю сколько стоит, давно не покупал. Ну пусть мы поставим по 4 Гб и пусть она будет стоить $200. Корпус, салазки и корзинки пусть нам таже говногенезис предоставит(ну разобрали несколько старых корпусов и используем куски от них) - еще около $2000-3000. Ну там еще нужно будет сетевые карты(1 x Intel Pro 1000 2 Port - $250). Ну и тысяч в 40 ты уложишься со всеми мелочами. Почему ты за эти деньги не взять SUN с гарантией и нормальным корпусом ?

xpahos ★★★★★ ()
Ответ на: Re: от xpahos

Re:

да, и я думаю, что Tecram и 3ware не умеют объединять PCI-E и PCI-X контроллеры в один рейд.

xpahos ★★★★★ ()
Ответ на: Re: "Открытый" дисковый массив на 67 Тб от IBAH

Re: "Открытый" дисковый массив на 67 Тб

> Дешевые комплектующие для десктопов

а я вот сыт по горло брендовым железом. Брендовую четырёхюнитную дуру ЧЕТЫРЕ раза меняли. Дров нихрена нет, утилиты мониторинга для древнего rhel4 только есть, аппаратный рейд скорее тормозит сервер чем ускоряет...

Почему-то все верят в миф что серверные комплектующие надёжнее. Что sas-диски не дохнут, что память не бывает битой(отчасти спасает ecc), итд итп.

anonymous ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.