Добрый день
Ситуация следующая
Есть 2 файловых сервера с настоенныеми RAID6. Будем называть их Сервер SSD, и Сервер HDD для наглядности, потому что первый собран на 8 SSD дисках, а второй на 10 обычных HDD для NAS (5400 rpm).
Оба файловых сервера подключены к 10 гигабитному свитчу, на скорости 10Гигабит.
Также к свитчу подключено 2 рабочие станции, одна по 10-гигабитке, а вторая по 1-гигабитке.
Итак, на Сервере SSD провел тесты скорости чтения и записи рэйда.
$ sync; dd if=/dev/zero of=./zeros1.img bs=10M count=500; sync
500+0 записей получено
500+0 записей отправлено
5242880000 байт (5,2 GB, 4,9 GiB) скопирован, 15,9636 s, 328 MB/s
$ sync; dd if=/dev/zero of=./zeros2.img bs=10M count=500; sync
500+0 записей получено
500+0 записей отправлено
5242880000 байт (5,2 GB, 4,9 GiB) скопирован, 17,3086 s, 303 MB/s
$ sync; dd if=/dev/zero of=./zeros3.img bs=10M count=500; sync
500+0 записей получено
500+0 записей отправлено
5242880000 байт (5,2 GB, 4,9 GiB) скопирован, 18,3812 s, 285 MB/s
$ sync; dd if=/dev/zero of=./zeros4.img bs=10M count=500; sync
500+0 записей получено
500+0 записей отправлено
5242880000 байт (5,2 GB, 4,9 GiB) скопирован, 19,4098 s, 270 MB/s
$ sync; dd if=/dev/zero of=./zeros5.img bs=10M count=500; sync
500+0 записей получено
500+0 записей отправлено
5242880000 байт (5,2 GB, 4,9 GiB) скопирован, 19,4397 s, 270 MB/s
Средняя скорость записи на RAID6 из 8 ssd дисков, по итогам теста, около 300 MB/s.
$ sudo /sbin/sysctl -w vm.drop_caches=3; dd if=./zeros1.img of=/dev/null bs=10M count=500
[sudo] пароль для master:
vm.drop_caches = 3
500+0 записей получено
500+0 записей отправлено
5242880000 байт (5,2 GB, 4,9 GiB) скопирован, 2,8586 s, 1,8 GB/s
Средняя скорость чтения с RAID6 из 8 ssd дисков, по итогам теста, около 1.8 GB/s.
Теперь те же тесты я провел на Сервере HDD
$ sync; dd if=/dev/zero of=./zeros1.img bs=10M count=500; sync
500+0 записей получено
500+0 записей отправлено
5242880000 байт (5,2 GB, 4,9 GiB) скопирован, 9,47348 s, 553 MB/s
$ sync; dd if=/dev/zero of=./zeros2.img bs=10M count=500; sync
500+0 записей получено
500+0 записей отправлено
5242880000 байт (5,2 GB, 4,9 GiB) скопирован, 5,19057 s, 1,0 GB/s
$ sync; dd if=/dev/zero of=./zeros3.img bs=10M count=500; sync
500+0 записей получено
500+0 записей отправлено
5242880000 байт (5,2 GB, 4,9 GiB) скопирован, 5,21997 s, 1,0 GB/s
$ sync; dd if=/dev/zero of=./zeros4.img bs=10M count=500; sync
500+0 записей получено
500+0 записей отправлено
5242880000 байт (5,2 GB, 4,9 GiB) скопирован, 5,6245 s, 932 MB/s
$ sync; dd if=/dev/zero of=./zeros5.img bs=10M count=500; sync
500+0 записей получено
500+0 записей отправлено
5242880000 байт (5,2 GB, 4,9 GiB) скопирован, 5,3953 s, 972 MB/s
Средняя скорость записи на RAID6 из 10 hdd дисков, по итогам теста, около 950 MB/s. Что, на мой взгляд, оочень неплохо!
$ sudo /sbin/sysctl -w vm.drop_caches=3; dd if=./zeros1.img of=/dev/null bs=10M count=500
vm.drop_caches = 3
500+0 записей получено
500+0 записей отправлено
5242880000 байт (5,2 GB, 4,9 GiB) скопирован, 4,76412 s, 1,1 GB/s
Средняя скорость чтения на RAID6 из 10 hdd дисков, по итогам теста, около 1.1 GB/s. Что, на мой взгляд, тоже неплохо, хотя я ожидал что будет сильнее отрыв от скорости записи.
========================================
Сервер SSD:
Запись (приблизительно): 300 Мб/c
Чтение (приблизительно): 1.8 Гб/c
Сервер HDD:
Запись (приблизительно): 950 Мб/c
Чтение (приблизительно): 1.1 Гб/c
========================================
Вопрос №1 Почему так проигрывает Сервер SSD по скорости записи? По чтению, если грубо то это 250мб в секунду на 1 диск, в среднем. Ну вроде более менее, хотя я ожидал больше.
Вопрос №2 Насколько хорошие результаты скорости выдает сервер HDD? Мне кажется что по записи очень неплохо. А чтение, мне кажется могло быть повыше, но тут я могу ошибаться.
Далее, Я попробовал через сетку с файлового Сервера SSD прочитать в память сиквенцию (последовательность) кадров, через специальный плеер, который кэширует все прочитанные файлы в оперативную память.
Общий объем сиквенции приблизительно 8.2 гигабайта. По 10ти гигабитной сетке этот сиквенс загружался в память 1 минуту 29 секунд.
Тот же самый сиквенс, на другой рабочей станции, но которая подключена по скорости 1 гигабит, кэшировался 1 минуту 41 секунду.
Согласитесь разница оочень незначительная.
Вопрос №3 Помогите понять, где узкое горлышко. Почему скорость на 1 и 10-ти гигабитных машинах почти одинакова? Хотя скорость чтения на сервер SSD порядка 1.8GB/s, что видно из тестов выше. т.е. по идее отдает файлы сервак с достаточной скоростью.
