LINUX.ORG.RU

Cubieboard2 + hardware SATA RAID

 , , ,


1

3

На фотографии:

  • Cubieboard2 и
  • внешний RAID-массив CFI-B4043JDGG (JMicron JMB394). Внутри - четыре диска Seagate ST4000VN000 по 4 TB каждый, объединённые в RAID5.

Питание для кубиборды берётся от внутреннего блока питания RAID-массива.

Тут недавно кто-то интересовался пропускной способностью SATA-порта у A20 (или A10? не помню...), так что это я решил затестить в первую очередь. Результаты сравнения скорости работы с RAID-массивом по SATA с ноутбука (eSATA) и с cubieboard2:

************************************************************
* Ноутбук ThinkPad W520
************************************************************

# hdparm -Tt /dev/sdb

/dev/sdb:
 Timing cached reads:   17510 MB in  2.00 seconds = 8761.82 MB/sec
 Timing buffered disk reads: 714 MB in  3.00 seconds = 237.88 MB/sec

# dd if=/dev/zero of=/dev/sdb bs=1024000 count=10240 oflag=direct conv=fdatasync
10240+0 records in
10240+0 records out
10485760000 bytes (10 GB) copied, 43.6447 s, 240 MB/s

# dd of=/dev/null if=/dev/sdb bs=1024000 count=10240 iflag=direct
10240+0 records in
10240+0 records out
10485760000 bytes (10 GB) copied, 41.0618 s, 255 MB/s

************************************************************
* Cubieboard2
************************************************************

# hdparm -Tt /dev/sda

/dev/sda:
 Timing cached reads:   836 MB in  2.00 seconds = 417.81 MB/sec
 Timing buffered disk reads: 364 MB in  3.01 seconds = 120.90 MB/sec

# dd if=/dev/zero of=/dev/sda bs=102400 count=102400 oflag=direct conv=fdatasync
dd: warning: partial read (28672 bytes); suggest iflag=fullblock
102399+1 records in
102399+1 records out
10485686272 bytes (10 GB) copied, 337.252 s, 31.1 MB/s

# dd of=/dev/null if=/dev/sda bs=1024000 count=10240 iflag=direct
10240+0 records in
10240+0 records out
10485760000 bytes (10 GB) copied, 60.7216 s, 173 MB/s
На кубиборде стоит юзерспейс от arch linux ARM с ядром 3.4.67+ от cubian. Перед тестом и на ноуте и на кубиборде я выставил cpu frequency scaling governor в performance, чтобы частота всех ядер процессора была максимальной.

Вывод: скорость записи - УГ, скорость чтения - вполне неплохо. В принципе, ожидаемо для чипа, заточенного под «смотрелку мультимедии» =).

>>> Просмотр (1280x853, 1081 Kb)

Deleted

Проверено: JB ()
Последнее исправление: JB (всего исправлений: 3)

четыре диска Seagate ST4000VN000 по 4 TB каждый, объединённые в RAID5

Не совсем понимаю, если данные не важны, зачем терять объем и скорость? Raid5 после 1ТБ гарантированно получает ошибки и высока вероятность выхода второго hdd из строя в момент ребилда. Для ваших объемов целесообразен 6, 1, 10

BaBL ★★★★★
()
Ответ на: комментарий от BaBL

Raid5 после 1ТБ гарантированно получает ошибки и высока вероятность выхода второго hdd из строя в момент ребилда. Для ваших объемов целесообразен 6, 1, 10

Я рандомно выбрал, это не окончательное решение =). JMB394 не умеет RAID6, так что скорее всего остановлюсь на 10.

Deleted
()
Ответ на: комментарий от Deleted

Да ещё и кубиборда зависла, пока я спал =(. Итого: в ядре из образа arch linux arm забыли включить поддержку свопа, ядро из свежего кубиана похоже периодически виснет...

Deleted
()
Ответ на: комментарий от BaBL

Raid5 после 1ТБ гарантированно получает ошибки и высока вероятность выхода второго hdd из строя в момент ребилда.

Можно для гуманитариев развить тему 1тб?

dk-
()

На что хватает производительности Кубиборды2?

Интересует воспроизведение видео, ну и ретро-игры. Про серфинг я не говорю, конечно же.

neocrust ★★★★★
()

это по крайней мере интересно

das_tier ★★★★★
()
Ответ на: комментарий от neocrust

На что хватает производительности Кубиборды2?

У меня там сейчас работает только qbittorrent-nox. Пока производительности хватает, но я ещё не проапгрейдил подключение к интернету до 100мбит.

Как именно буду раздавать с неё файлы в локалку - ещё не придумал. Как минимум, scp и sftp тормозят, как и вообще любая передача больших объёмов данных через ssh. Процессор не успевает шифровать с нужной скоростью. Так что скорее всего будет NFS.

Интересует воспроизведение видео, ну и ретро-игры. Про серфинг я не говорю, конечно же.

Про это ничего не скажу - меня в данный момент такое применение не интересует.

Deleted
()
Ответ на: комментарий от uin

Ну это слабый чип для бюджетных смартфонов и планшетов.

Всё-таки он несколько более универсальный, не только для смартфонов и планшетов. Всё-таки SATA и ethernet есть.

Тут надо марвел какой нибудь

А какие есть платы с SATA (или в крайнем случае USB 3.0) и нормальной поддержкой линукса?

Deleted
()
Последнее исправление: Deleted (всего исправлений: 1)
Ответ на: комментарий от dk-

Баян же. Число 1TB условно конечно. Но суть в том, что значение «вероятность необнаруживаемой хардварной ошибки на 1TB» современных дисках такова, что большой массив, будь то raid5 или raid6, при современных объемах вполне реально не переживает пересборку из деградированного состояния. Это зависит от объема массива; raid6 пока еще держит максимальные объемы дисков СЕГОДНЯ, а raid5 уже нет.

http://www.zdnet.com/blog/storage/why-raid-5-stops-working-in-2009/162

http://www.zdnet.com/blog/storage/why-raid-6-stops-working-in-2019/805

http://www.zdnet.com/has-raid5-stopped-working-7000019939/

Deleted
()
Ответ на: комментарий от Deleted

ядро из свежего кубиана похоже периодически виснет...

Возможно, что дело было не в ядре, а в перегреве. Пишут, что у кубиборд такое иногда случается при большой нагрузке. Надо бы радиатор туда приделать...

Deleted
()
Последнее исправление: Deleted (всего исправлений: 1)

как homeserver сойдет? с питанием нет проблем, не умирает под нагрузком? интересует производительность того же апача например.

Deleted
()

внешний RAID-массив CFI-B4043JDGG

Заинтересовался сим девайсом. Давто используешь, как тебе он? Еще заинтересовался режимом CLEAN

обязательным условием является поддержка SATA-контроллером материнской платы host-устройства режима мультипликации портов - PM (Port Multiplier).

Не доводилось с этим работать?

Deleted
()
Ответ на: комментарий от Deleted

Заинтересовался сим девайсом. Давто используешь, как тебе он?

Купил совсем недавно. Собран вроде качественно. Плюсы:

  • Диски вставляются прямо так, без всяких «корзин». Внутри их можно намертво прикрутить.
  • Малошумный.
  • Очень труЪшная система настройки массива: 3 DIP-свитча и кнопка =).
  • Легко разбирается, нет никаких «гарантийных» пломб.

Минусы:

  • Непонятно как мониторить отдельные диски. Подозреваю, что можно как-то отправлять ATA-команды отдельным дискам. Надо попробовать найти хотя бы оригинальные утилиты под венду и посмотреть как работают они.
  • Стандартная «фича» любого аппаратного RAID'а: сложно восстановить данные когда умирает один единственный контроллер.

Это из очевидного. Опыта продолжительной эксплуатации у меня пока нет.

обязательным условием является поддержка SATA-контроллером материнской платы host-устройства режима мультипликации портов - PM (Port Multiplier).

Не доводилось с этим работать?

Это для режима, когда «коробка» видится не как единый диск, а просто предоставляет доступ к каждому диску по отдельности. SATA-контроллер, встроенный в A10/A20 это точно не умеет (либо не умеет линуксовый драйвер к нему), а на ноуте я этот режим не пробовал использовать.

Deleted
()
Последнее исправление: Deleted (всего исправлений: 1)
Ответ на: комментарий от Deleted

спасибо!

встроенный в A10/A20 это точно не умеет (либо не умеет линуксовый драйвер к нему), а на ноуте я этот режим не пробовал использовать.

Просто для справки, сам полез читать про это, таблица совместимости

https://ata.wiki.kernel.org/index.php/SATA_hardware_features

Deleted
()
Ответ на: комментарий от Deleted

Хм. Чудно. Не задумывался над этим. А названия ссылок прямо таки говорящие.

А на русском не попадалось выкладок? Я понимаю написанное там, но все равно тяжко идет.

dk-
()
Ответ на: комментарий от Deleted

Почитал. Прикольно. Надо запомнить.
Хотя в моей практике нужны тупо чередующиеся массивы. Сохранность данных похрен. Есть бэкапы в ключевых точках.

dk-
()
Ответ на: комментарий от dk-

А на русском не попадалось выкладок?

не искал особо. Мне хватило для поверхностной информации и ликбеза их. Наверняка найдутся люди, кто скажет что все это г-но и неправда)

Deleted
()
Ответ на: комментарий от Deleted

Я вот еще о чем думал раньше:

Логично ли в массив пихать диски разных производителей и партий, что бы был меньше шанс нарваться на брак целой партии дисков.

Контроллеру же пофигу, одинаковые они или нет?

dk-
()

ха, я тут тоже получил 2 кубик, полет пока на бубунте, но планирую собрать свое ядро, вывод с hdmi, не очень чето с разрешением. Не пробовали собрать свое ядро? или в кубиане запатченое просто ядро, поэтому и древнее?

init_ ★★★
()
Ответ на: комментарий от dk-

Логично ли в массив пихать диски разных производителей и партий, что бы был меньше шанс нарваться на брак целой партии дисков.

Это не только логично, это используется. Сталкивался лично с тем, что в серверах IBM диски, кторые они ставят, подписаны «IBM», но если посмотреть конкретные маркировки - это разнобой из WD, Hitachi, Toshiba, наверняка из разных партий. Ну и читал про то, что это стандартная практика и у других брендов, а так же админов.

Deleted
()
Ответ на: комментарий от init_

Не пробовали собрать свое ядро?

Нет ещё.

или в кубиане запатченое просто ядро, поэтому и древнее?

Не такое уж и древнее. 3.4.67 вышло в октябре.

Deleted
()
Ответ на: комментарий от Deleted

Помучаю тебя еще вопросами:

До какого количества дисков есть смысл доводить рейд-0?

Пусть это обычный 7,2к 3.5" винты. Типа последних быстрых сеагейтов (читает линейно 200+ мбс)

Контроллер железный. Пусть будет в PCI-E 8x.

6-8 дисков еще будут давать прирост линейной скорости?

dk-
()
Ответ на: комментарий от init_

минорщину не берем в расчет, если сравнить с 3.12 наверняка там уже и мали подпилен и тд...

В любом случае нужно будет «левые» патчи накладывать, так как в мейнлайне для allwinner'ов далеко не всё есть.

Deleted
()
Ответ на: комментарий от dk-

да, будут, при выполнении двух условий: не упираешься в производительность чипай/шины и запись идет блоками бо́льшими чем колво_дисков*размер_сегмента.

val-amart ★★★★★
()
Ответ на: комментарий от dk-

Помучаю тебя еще вопросами:

Ну, я все-таки больше диванный теоретик, интересующийся темой, на практике сталкивался с рейдами только на уровне пользования, а не проектирования СХД. Поэтому все советы на соответствующем уровне.

До какого количества дисков есть смысл доводить рейд-0?
6-8 дисков еще будут давать прирост линейной скорости?

Понятно, что зависимость скорости от количества дисков - не линейна. Я встречал устаревший тест http://www.tomshardware.com/reviews/RAID-SCALING-CHARTS,1635-10.html - там 5 дисков, дальше производительность не растет. Предполагаю, что этот параметр (скорость / кол.во дисков) - величина зависимая от большого количества факторов, поэтому сохраняет актуальность и сейчас, ну может +/- 1, с поправкой на абсолютное значение скорости и проп.способности шин. Поэтому, с опаской, на хорошо подобранном железе, с настройками (размер блока страйпа - макс., буферы какие нить, встроенная память контроллера), я бы сказал 6 дисков - потолок.

Тест на реальном железе - максимально показателен, и иногда не соответствует ожиданиям. У меня было немного времени поиграть с Promise VTrak M610p, с установленными 12ю обычными sata-дисками. Я по-быстрому собрал RAID0 из всех, и предвкушал СКОРОСТЬ. Но результаты меня обескуражили - прирост линейной скорости чтения был 2.5 раза относительно 1ого диска, не более, причем значение скорости около 300МБайт/с. Покопаться в причинах у меня не было времени. Подозреваю настройки подключения FiberChannel, драйвера centos5, настройки размера блока рейда, какие-нибудь буфера, старая прошивка... множество всего.

Deleted
()
Ответ на: комментарий от ilinsky

Какой используете корпус? Если можно ссылку.

Для кубиборды? Она мне сразу с корпусом пришла. Вот этот похож: http://www.aliexpress.com/store/product/new-case-for-cubieboard-1GB-ARM-Cortex-A8-free-shipping/211096_819229614.html. У меня цвет другой и без надписи «CubieBoard».

Deleted
()

Для всех интересующихся - всё-таки Allwinner системы легче использовать с Android с добавленным linux окружением, чем с портированным линуксом. Там совсем убогий фреймбуфер и плохо документированные закрытые либы.

Shadow ★★★★★
()
Последнее исправление: Shadow (всего исправлений: 1)

ТС, у меня нуб-вопрос:
А ради чего это все? Практический смысл этой кубиборды? Хочется потестить - это понятно. Но нафига оно тебе с практики?

dk-
()
Ответ на: комментарий от dk-

А ради чего это все? Практический смысл этой кубиборды? Хочется потестить - это понятно. Но нафига оно тебе с практики?

Нужна малошумная торрентокачалка и хранилище для бэкапов. Я бы полноценный сервак собрал, но в съёмной однокомнатной холупе его некуда поставить, чтобы он шумом не мешал.

Deleted
()
Последнее исправление: Deleted (всего исправлений: 1)
Ответ на: комментарий от Deleted

Так есть же решения на рынке. И цены вменяемые. Есть даже какая-то шняга от ВД умеющая по тв скаченное показывать.

dk-
()
Ответ на: комментарий от dk-

Так есть же решения на рынке. И цены вменяемые.

Например?

Есть даже какая-то шняга от ВД умеющая по тв скаченное показывать.

WD TV что-ли? Так это плеер, а не NAS.

Deleted
()
Ответ на: комментарий от Deleted

Эх блин... хочу вот такую хитрую коробку с дисками, что бы рейд-0 был. и скорость записи хотя бы мегабайт 800 в сек.
мечты мечты. подключать то ее нечем к ноуту (юсб3 не вытянет)

dk-
()
Ответ на: комментарий от dk-

не?)

Дороже и меньше возможностей по кастомизации. На кубиборду встаёт полноценный linux, а не огрызок «от производителя». Разве что ethernet на готовых решениях обычно гигабитный...

Deleted
()
Ответ на: комментарий от Deleted

Гигабитный, жирные рипы/ремуксы не будут лагать из-за сети.

Ну на счет дороже я хз. 2к не так уж дорого за готовое решение.

Линукс -ну это твои личные тараканы. Нужна полноценная ось - вопросов нет. Но если именно для торентов и хранилища, то нахрена там ос...

dk-
()
Ответ на: комментарий от dk-

Гигабитный, жирные рипы/ремуксы не будут лагать из-за сети.

У блюреев битрейт меньше 100мбит/c, так что настолько жирные рипы ещё поискать нужно 8).

Ну на счет дороже я хз. 2к не так уж дорого за готовое решение.

2к - это на один диск и с очень дохлым процессором. Такой точно не вывезет гигабит, вообще никак.

Линукс -ну это твои личные тараканы. Нужна полноценная ось - вопросов нет. Но если именно для торентов и хранилища, то нахрена там ос...

Никаких тараканов, просто разумное требование. Я хочу, чтобы оно работало так же как и обычная серверная система. Мне не нужно говнецо с кучей багов, дырок и с неюзабельным «юзер-френдли» интерфейсом, в который производитель забыл положить самые нужные лично мне фичи =).

Deleted
()
Последнее исправление: Deleted (всего исправлений: 1)
Ответ на: комментарий от dk-

Ну тогда кубик рулит :) Надеюсь.

Я вот тоже надеюсь, ибо пока непонятно куда именно он рулит...

Deleted
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.