LINUX.ORG.RU

Cubieboard2 + hardware SATA RAID

 , , ,


1

3

На фотографии:

  • Cubieboard2 и
  • внешний RAID-массив CFI-B4043JDGG (JMicron JMB394). Внутри - четыре диска Seagate ST4000VN000 по 4 TB каждый, объединённые в RAID5.

Питание для кубиборды берётся от внутреннего блока питания RAID-массива.

Тут недавно кто-то интересовался пропускной способностью SATA-порта у A20 (или A10? не помню...), так что это я решил затестить в первую очередь. Результаты сравнения скорости работы с RAID-массивом по SATA с ноутбука (eSATA) и с cubieboard2:

************************************************************
* Ноутбук ThinkPad W520
************************************************************

# hdparm -Tt /dev/sdb

/dev/sdb:
 Timing cached reads:   17510 MB in  2.00 seconds = 8761.82 MB/sec
 Timing buffered disk reads: 714 MB in  3.00 seconds = 237.88 MB/sec

# dd if=/dev/zero of=/dev/sdb bs=1024000 count=10240 oflag=direct conv=fdatasync
10240+0 records in
10240+0 records out
10485760000 bytes (10 GB) copied, 43.6447 s, 240 MB/s

# dd of=/dev/null if=/dev/sdb bs=1024000 count=10240 iflag=direct
10240+0 records in
10240+0 records out
10485760000 bytes (10 GB) copied, 41.0618 s, 255 MB/s

************************************************************
* Cubieboard2
************************************************************

# hdparm -Tt /dev/sda

/dev/sda:
 Timing cached reads:   836 MB in  2.00 seconds = 417.81 MB/sec
 Timing buffered disk reads: 364 MB in  3.01 seconds = 120.90 MB/sec

# dd if=/dev/zero of=/dev/sda bs=102400 count=102400 oflag=direct conv=fdatasync
dd: warning: partial read (28672 bytes); suggest iflag=fullblock
102399+1 records in
102399+1 records out
10485686272 bytes (10 GB) copied, 337.252 s, 31.1 MB/s

# dd of=/dev/null if=/dev/sda bs=1024000 count=10240 iflag=direct
10240+0 records in
10240+0 records out
10485760000 bytes (10 GB) copied, 60.7216 s, 173 MB/s
На кубиборде стоит юзерспейс от arch linux ARM с ядром 3.4.67+ от cubian. Перед тестом и на ноуте и на кубиборде я выставил cpu frequency scaling governor в performance, чтобы частота всех ядер процессора была максимальной.

Вывод: скорость записи - УГ, скорость чтения - вполне неплохо. В принципе, ожидаемо для чипа, заточенного под «смотрелку мультимедии» =).

>>> Просмотр (1280x853, 1081 Kb)

Deleted

Проверено: JB ()
Последнее исправление: JB (всего исправлений: 3)

ARM идёт в массы, очень приятно. Это я как пользователь всяких бигл-панда-распберри и прочих ванд-бордов :) Очень интересный тест, быстро получилось.

I-Love-Microsoft ★★★★★
()
Ответ на: комментарий от I-Love-Microsoft

Очень интересный тест, быстро получилось.

Запись медленная.

Deleted
()

Почему ты не подождал Cubietruck, у которой Гигибитный Ethernet, если собрался смотреть Blu-Ray-и.

soslow
()

Вывод: скорость записи - УГ, скорость чтения - вполне неплохо.

неплохо? это ты про 120 mb/sec или 240? не знаю, зачем это все, я со своих 4х более старых дисков имею 400+

crypt ★★★★★
()
Ответ на: комментарий от BaBL

Raid5 после 1ТБ гарантированно получает ошибки и высока вероятность выхода второго hdd из строя в момент ребилда. Для ваших объемов целесообразен 6, 1, 10

В смысле: гарантировано получает ошибки?

ktulhu666 ☆☆☆
()

Я не понял: там внутри мультиплексор стоит или контроллер представляет все диски, как один?

ktulhu666 ☆☆☆
()
Ответ на: комментарий от ktulhu666

Я не понял: там внутри мультиплексор стоит или контроллер представляет все диски, как один?

Он и так и так может.

Deleted
()
Ответ на: комментарий от ktulhu666

unrecoverable read error rate умножай на кол-во дисков и получишь до 50% битого рейд5 в вполне домашней конфигурации даже при условии сохранности всех дисков кроме одного.

BaBL ★★★★★
()

Скорость записи такая фиговая, т.к. на контроллере (либо на компьютере, если MD используется) слишком маленький кэш на запись.

ktulhu666 ☆☆☆
()
Ответ на: комментарий от ktulhu666

Скорость записи такая фиговая, т.к. на контроллере (либо на компьютере, если MD используется) слишком маленький кэш на запись.

В контроллере. Я сомневаюсь, что в этом копеечном чипе он вообще есть 8).

Deleted
()
Ответ на: комментарий от Deleted

Ну без синхронизации шпинделей запись нормально не будет работать без большого кэша. Хотя, как вариант, использовать блоки рейда огромного размера (имеет смысл только для потоковой записи). Например, 16Мб и больше. Но скорость тут не больше скорости одного харда будет.

ktulhu666 ☆☆☆
()
Последнее исправление: ktulhu666 (всего исправлений: 3)
Ответ на: комментарий от crypt

raid10 на четырех не новых дисках дает 400МБайт/с линейного чтения? Что за диски? 15к-rpm?

Ну правда интересна конфигурация, железо. Колись )

Deleted
()
Последнее исправление: Deleted (всего исправлений: 1)
Ответ на: комментарий от ktulhu666

5-6 десктопных 2тб дисков в рейд5 имеют 55% шанс не собраться корректно после отказа одного.

Я считаю это вполне домашней конфой.

http://www.raidtips.com/raid5-ure.aspx

BaBL ★★★★★
()
Последнее исправление: BaBL (всего исправлений: 1)
Ответ на: комментарий от Deleted

да почему!) вот смотри:

диски ST1000NM0011 4 шт., 7200 rpm, кеш 64 МБ, включен.

# hdparm -t /dev/sdc

/dev/sdc:
 Timing buffered disk reads: 1464 MB in  3.00 seconds = 487.74 MB/sec

/dev/sdc - это хардварный рейд, но это роли не играет.

Дело в том, что топикстартер взял тормозные диски на 5900 rpm, (привет, greenpeace!), потратился зачем-то на этот игрушечный «nas» и почему-то рассуждает про скорость. В случае топикстартера нужно рассказать всем про рубль за Гигабайт, а про скорость скромно умолчать.

crypt ★★★★★
()
Последнее исправление: crypt (всего исправлений: 1)

я выше говорю «рубль за гигобайт», потому что эти тормозные четырехгигобайтники стоят примерно 6 т.р. за штуку, а реальные диски пром. уровня на 4 Гб (ST4000NM0033) стоят почти в два раза больше - 10 т.р.

причем мало того, что выбранные диски тормозные их еще и замедлили засчет raid5. в итоге конфигурация и дорогая, и тормозная. простые десктопные диски были бы и то лучше.

crypt ★★★★★
()

ты не то меряшь - померь скорость копирования с диска через ethernet ( samba ). У меня больше 20 мгбит не получалось.

SI ★★☆☆
()
Ответ на: комментарий от Deleted

odroid-xu, но он с вентиляторами и по цене как неттоп.

SI ★★☆☆
()
Ответ на: комментарий от Deleted

foxconn nano с пассивным охлаждением ?

SI ★★☆☆
()
Ответ на: комментарий от StReLoK

500 не 90, да?
Пятикратная разница — прирост огромный, а еще 500 покрывает максимальный, по стандарту, битрейт Blu-Ray.

soslow
()
Ответ на: комментарий от SI

На сколько я понимаю, у Raspberry Pi в этом плане всё намного лучше? =]

neocrust ★★★★★
()

недавно я интересовался, впрочем и на а20 тож.. вижу скорость не ахти..

TODD ★★
()
Ответ на: комментарий от blind_oracle

У меня RAID6 на 24 дисках 1Тб, пашет уже 4 года, какие ошибки ввода-вывода, о чем вы?

Ни о чем, у RAID6 этот предел существенно выше, читайте внимательнее.

BaBL ★★★★★
()

А на этом JMICRON'e если рейд развалить, диски на Cubie видны отдельные или нет? Животрепещущий вопрос...

slapin ★★★★★
()
Ответ на: комментарий от slapin

А на этом JMICRON'e если рейд развалить, диски на Cubie видны отдельные или нет? Животрепещущий вопрос...

В A10/A20 это не умеет SATA-контроллер (или драйвер к нему).

Deleted
()
Ответ на: комментарий от BaBL

Т.е. добавление всего лишь одного избыточного страйпа увеличивает предел во столько раз? И вообще какая техническая подоплёка ошибок ввода вывода на RAID5, можно узнать? У меня и RAID5 были, не на 24 диска, поменьше, но проблем не было.

blind_oracle ★★★★★
()
Ответ на: комментарий от blind_oracle

Примерно вот так:
http://cdn-static.zdnet.com/i/story/60/88/000805/relative_reliability_r5_vs_r...

как видишь, RAID6 не на порядок, а на несколько минимум.

Рассматривается самый печальный случай, но, как правило, когда у тебя летит массив - он случается именно с тобой. Есть параметр гарантированной ошибки на количество циклов, он мал, но реален. Т.е. за такое количество считанных битов - 100% производитель гарантирует ошибочный. Пока террабайтами диски не измеряли - все было зашибись с RAID5, сейчас уже эта проблема более чем актуальна и у тебя есть нехилый шанс если не пересобрать массив, то как минимум получить битые файлы.

Это если не рассматривать вариант выхода из строя второго диска во время ребилда. Т.е. просто физические характеристики девайса и заявленные параметры производителем.

Я об этой теме предупредил, так как сталкивался уже на довольно большом массиве видеоданных. Когда у тебя гигантская коллекция, просмотреть которую на предмет ошибок нет никаких вариантов - становится очень печально. Поэтому кроме RAID6 (ранее был 5ый и были деградации) у меня теперь еще и md5 всех файлов записан (несколько дней считался).

BaBL ★★★★★
()
Ответ на: комментарий от BaBL

Ну, батенька, тут всё-таки имеется в виду ошибки, пропущенные контрольными суммами самих винтов при записи на блины, а не надёжность рейдов, как таковых.

И от уровня рейда эти ошибки не зависят т.к. происходят уровнем ниже - зависимость просто от количества винтов.

RAID5/6 никаким образом не проверяет и не гарантирует целостность данных в тех случаях, когда винт в массиве отрапортовал успешное выполнение команды записи.

Для хотя-бы приблизительного решения этих проблем был придуман ZFS, считающий контрольную сумму каждого блока ФС в отдельности. Я как-то специально наживую писал мусор на один из дисков в массиве в случайное место, ZFS всё корректно восстановил.

А вообще современные энтерпрайз диски на 15к оборотов (смотрел сигейт) обещают 1 битый бит на 10^16 считанных с диска бит.

Это получается что-то около 1 битого бита на 1250 терабайт считаных данных, достаточно приличная цифра, особенно учитывая то, что ошибка в 1 бите редко приводит к печальным последствиям.

У меня, к примеру, есть достаточно большие MS SQL базы (300+ Gb), которые ежедневно бэкапятся в режиме с проверкой контрольных сумм страниц БД. Если контрольная сумма не совпадает, то бэкап считается неудачным и выдает ошибку.

За 5 последних лет я ни разу не видел, чтобы такое происходило.

blind_oracle ★★★★★
()

У тебя что-то с сатой.уменя на даче первая куюиборда быстрее пишет безо всяких рейдов на 2.5 веник.

ncrmnt ★★★★★
()
Ответ на: комментарий от ncrmnt

Ну либо с конфигом. А виснет - выстави гавернора в перформанс или фентези. У меня на 3.4 на стике под 3д принтер на ондеманд зависоны сразу как начинают работать движки, хотя питание раздельное и все экранировано. После мата подозрение на него, так как на перформансе зависоны уходят.

ncrmnt ★★★★★
()

На запись может быть маленькая скорость, потому что «аппаратный» рейд тормозит в режиме Raid5 (а вовсе не кубик). Попробуй Raid10 или 0.

x_hash
()

Да, жесткач. Небось еще и топ при копировании показывает 100% загрузки ядер.

Но если просто с винтом гонять, то может для ряда применений и прокатит...

Еще бы на кубитрак (Cubieboard3) посмотреть. Уж больно он аппетитно смотрится.

AVL2 ★★★★★
()
Ответ на: комментарий от x_hash

На запись может быть маленькая скорость, потому что «аппаратный» рейд тормозит в режиме Raid5 (а вовсе не кубик). Попробуй Raid10 или 0.

Ну вообщето все познается в сравнении. С ноута скорость самого интерфейса вдвое выше и тот же рейд показывает вполне вменяемые скорости. В целом все предсказуемо.

AVL2 ★★★★★
()
Ответ на: комментарий от StReLoK

Он там нифига не гигабитный. По факту ~500.

думаю, это ввод вывод в арме тормозит. Но и 500, это сильно лучше, чем 100.

AVL2 ★★★★★
()
Ответ на: комментарий от slapin

Похоже dreamplug показывает нечто подобное? И где тут прорыв?

Just a followup for anyone who might be interested in playing with ARM boxen, I bought and benchmarked a DreamPlug for my next project. To benchmark the NIC, I used iperf to get performance for the TCP stack only and nginx to get a more realistic benchmark. To benchmark the SATA link, I plugged a new Corsair Force SSD into the eSATA connector using a new disk dock and used both hdparm and dd to check read speed.

Network throughput = ~500 Mbps SATA throughput = ~300 MB/s EXT4 file system throughput = ~120 MB/s

The DreamPlug is CPU bound as either iperf and nginx will use 100% of the CPU. With both I tried single and multiple target client machines as well as using one or both of the NIC on the DreamPlug.

Since each NIC is usually handled by one kernel thread, a much faster ARM CPU would probably be need to saturate a GigE NIC link and multi-core ARM would be needed to push lots of data on both NIC links on something like the DreamPlug.

The Carma Tegra 3 development kit looks like what I need as development system (quad-core Cortex A9) but at $600+, ouch! :)

AVL2 ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.