LINUX.ORG.RU

Низкая скорость в raid-0


0

2

raid-0 ( 4 - hdd )

$ dd if=/dev/zero of=ddfile bs=1M count=5000
5000+0 записей считано
5000+0 записей написано
 скопировано 5242880000 байт (5.2 GB), 23.8958 c, 219 MB/c
$ dd if=ddfile of=/dev/null bs=1M count=5000
5000+0 записей считано
5000+0 записей написано
 скопировано 5242880000 байт (5.2 GB), 23.9613 c, 219 MB/c

Почему скорость чтения такая низкая ???


Ответ на: комментарий от AoD314

С такими детальными ответами диалог будет длиться два дня. Какой именно?

GotF ★★★★★
()
Ответ на: комментарий от x3al
$ cat /proc/mdstat
md1 : active raid0 sda3[0] sdb3[1] sdc3[2] sdd3[3]
      33768192 blocks 64k chunks

Файловая система ext4 4 идентичных диска:

$ hdparm -I /dev/sda

/dev/sda:

ATA device, with non-removable media
        Model Number:       ST31500341AS                            
        Serial Number:      9VS3T5V2
        Firmware Revision:  CC1H    
        Transport:          Serial
Standards:
        Used: unknown (minor revision code 0x0029) 
        Supported: 8 7 6 5 
        Likely used: 8
Configuration:
        Logical         max     current
        cylinders       16383   16383
        heads           16      16
        sectors/track   63      63
        --
        CHS current addressable sectors:   16514064
        LBA    user addressable sectors:  268435455
        LBA48  user addressable sectors: 2930277168
        Logical/Physical Sector size:           512 bytes
        device size with M = 1024*1024:     1430799 MBytes
        device size with M = 1000*1000:     1500301 MBytes (1500 GB)
        cache/buffer size  = unknown
        Nominal Media Rotation Rate: 7200
Capabilities:
        LBA, IORDY(can be disabled)
        Queue depth: 32
        Standby timer values: spec'd by Standard, no device specific minimum
        R/W multiple sector transfer: Max = 16  Current = 16
        Recommended acoustic management value: 254, current value: 0
        DMA: mdma0 mdma1 mdma2 udma0 udma1 udma2 udma3 udma4 udma5 *udma6 
             Cycle time: min=120ns recommended=120ns
        PIO: pio0 pio1 pio2 pio3 pio4 
             Cycle time: no flow control=120ns  IORDY flow control=120ns
Commands/features:
        Enabled Supported:
           *    SMART feature set
                Security Mode feature set
           *    Power Management feature set
           *    Write cache
           *    Look-ahead
           *    Host Protected Area feature set
           *    WRITE_BUFFER command
           *    READ_BUFFER command
           *    DOWNLOAD_MICROCODE
                SET_MAX security extension
                Automatic Acoustic Management feature set
           *    48-bit Address feature set
           *    Device Configuration Overlay feature set
           *    Mandatory FLUSH_CACHE
           *    FLUSH_CACHE_EXT
           *    SMART error logging
           *    SMART self-test
           *    General Purpose Logging feature set
           *    WRITE_{DMA|MULTIPLE}_FUA_EXT
           *    64-bit World wide name
                Write-Read-Verify feature set
           *    WRITE_UNCORRECTABLE_EXT command
           *    {READ,WRITE}_DMA_EXT_GPL commands
           *    Segmented DOWNLOAD_MICROCODE
           *    Gen1 signaling speed (1.5Gb/s)
           *    Gen2 signaling speed (3.0Gb/s)
           *    Native Command Queueing (NCQ)
           *    Phy event counters
                Device-initiated interface power management
           *    Software settings preservation
           *    SMART Command Transport (SCT) feature set
           *    SCT Long Sector Access (AC1)
           *    SCT LBA Segment Access (AC2)
           *    SCT Error Recovery Control (AC3)
           *    SCT Features Control (AC4)
           *    SCT Data Tables (AC5)
                unknown 206[12] (vendor specific)
Security: 
        Master password revision code = 65534
                supported
        not     enabled
        not     locked
                frozen
        not     expired: security count
                supported: enhanced erase
        256min for SECURITY ERASE UNIT. 256min for ENHANCED SECURITY ERASE UNIT.
Logical Unit WWN Device Identifier: 5000c50020027b9c
        NAA             : 5
        IEEE OUI        : 000c50
        Unique ID       : 020027b9c
Checksum: correct

AoD314
()
Ответ на: комментарий от AoD314

Впрочем, по равенству скоростей чтения и записи можно предположить ограничение по пропускной способности шины.

GotF ★★★★★
()
Ответ на: комментарий от GotF

выключил торрент и повторил:

$ dd if=/dev/zero of=ddfile bs=1M count=500
500+0 записей считано
500+0 записей написано
 скопировано 524288000 байт (524 MB), 1.20757 c, 434 MB/c
$ dd if=ddfile of=/dev/null bs=1M count=500
500+0 записей считано
500+0 записей написано
 скопировано 524288000 байт (524 MB), 0.0965052 c, 5.4 GB/c
$ dd if=/dev/zero of=ddfile bs=1M count=5000
5000+0 записей считано
5000+0 записей написано
 скопировано 5242880000 байт (5.2 GB), 22.5937 c, 232 MB/c
$ dd if=ddfile of=/dev/null bs=1M count=5000
5000+0 записей считано
5000+0 записей написано
 скопировано 5242880000 байт (5.2 GB), 24.1826 c, 217 MB/c
Ваще странно ...

AoD314
()

>219 MB/c

А скока надо? Отдельно каждый винт как выдает?
Вообще, завидую. С межделмаш-хранилища по SAS обычно меньше 150 имел.

madcore ★★★★★
()
Ответ на: комментарий от GotF

А что за параметр «number of filesystem blocks (in KiB)» и где его посмотреть ?

И почему скорость записи БОЛЬШЕ скорости чтения ??? Как это вообще может быть ?

AoD314
()
Ответ на: комментарий от AoD314

А что за параметр «number of filesystem blocks (in KiB)» и где его посмотреть ?

Размер блока ФС, как я понимаю.

tune2fs -l /dev/sdz | grep "Block size:"
GotF ★★★★★
()
Ответ на: комментарий от GotF

Что не так делаю ?

$ echo 3 > /proc/sys/vm/drop_caches
$ sync
$ dd if=/dev/zero of=ddfile bs=1M count=5000
5000+0 записей считано
5000+0 записей написано
 скопировано 5242880000 байт (5.2 GB), 23.5058 c, 223 MB/c
$ echo 3 > /proc/sys/vm/drop_caches
$ sync
$ dd if=ddfile of=/dev/null bs=1M count=5000
5000+0 записей считано
5000+0 записей написано
 скопировано 5242880000 байт (5.2 GB), 23.675 c, 221 MB/c

AoD314
()
Ответ на: комментарий от GotF

По умолчанию, Stride и Stripe width получились такие, как рекомендует тулзовина.

AoD314
()
Ответ на: комментарий от AoD314

Что удивительного? Запись закэшировалась в буфер. Можно посмотреть что будет с опцией oflag=direct. Нужно ещё bs больше сделать

mashina ★★★★★
()
Ответ на: комментарий от mashina
$ dd if=/dev/zero of=ddfile bs=4M count=1000
1000+0 записей считано
1000+0 записей написано
 скопировано 4194304000 байт (4.2 GB), 18.25 c, 230 MB/c
$ dd if=ddfile of=/dev/null bs=4M count=1000
1000+0 записей считано
1000+0 записей написано
 скопировано 4194304000 байт (4.2 GB), 0.738789 c, 5.7 GB/c
$ dd if=/dev/zero of=ddfile bs=6M count=1000
1000+0 записей считано
1000+0 записей написано
 скопировано 6291456000 байт (6.3 GB), 27.8271 c, 226 MB/c
$ dd if=ddfile of=/dev/null bs=6M count=1000
1000+0 записей считано
1000+0 записей написано
 скопировано 6291456000 байт (6.3 GB), 30.6888 c, 205 MB/c

Почему такая большая разница ???

AoD314
()
Ответ на: комментарий от mashina
$ dd if=ddfile of=/dev/null bs=6M count=1000 iflag=direct
1000+0 записей считано
1000+0 записей написано
 скопировано 6291456000 байт (6.3 GB), 31.0574 c, 203 MB/c
AoD314
()
Ответ на: комментарий от AoD314

> Почему падает скорость с 5.7 GB/c до 205 MB/c ?

Файловый кэш. Ваш К.О.

annoynimous ★★★★★
()
Ответ на: комментарий от AoD314

В первом случае все 4гб влезают в кеш и чтение идёт из памяти. Во втором 6гб не помещаются целиком и приходится всё читать с диска.

mashina ★★★★★
()
Ответ на: комментарий от madcore

>Вообще, завидую. С межделмаш-хранилища по SAS обычно меньше 150 имел.

Меньше 150 если все диски в RAID-0 объеденить?

mky ★★★★★
()
Ответ на: комментарий от mashina

В первом случае все 4гб влезают в кеш и чтение идёт из памяти. Во втором 6гб не помещаются целиком и приходится всё читать с диска.

Пусть так, но почему скорость чтение МЕНЬШЕ скорости записи ??? Вообще скорость обычного диска примерно 30мб/с(запись) 90мб/с(чтение), raid-0 должен только «умножить» на количество дисков скорость записи и чтения. Нет ???

AoD314
()
Ответ на: комментарий от YAR

так верно ? :

$ dd if=/dev/zero of=ddfile bs=6M count=1000 oflag=direct
1000+0 записей считано
1000+0 записей написано
 скопировано 6291456000 байт (6.3 GB), 30.8944 c, 204 MB/c

$ dd if=ddfile of=/dev/null bs=6M count=1000 iflag=direct
1000+0 записей считано
1000+0 записей написано
 скопировано 6291456000 байт (6.3 GB), 29.306 c, 215 MB/c

AoD314
()
Ответ на: комментарий от AoD314

Вообще скорость обычного диска примерно 30мб/с(запись) 90мб/с(чтение)

Где вы такие диски берёте. Давно уже линейные скорости чтения и записи примерно одинаковые, от 70-100 мб/сек для обычных дисков.

Пусть так, но почему скорость чтение МЕНЬШЕ скорости записи ???

Это не номинальная скорость носителя, а фактическая с учётом отложенной записи через кэш. Для устранения эффектов кэша нужно использовать oflag=direct и писать прямо на блочное устройство, а не в файл.

mashina ★★★★★
()
Ответ на: комментарий от YAR

вопрос тот же. почему скорость чтения и запись «одного порядка» ??

мне кажется, что скорость чтения должна быть больше скорости записи, хотя бы в 2 раза ??? нет ?

AoD314
()
Ответ на: комментарий от AoD314

> мне кажется, что скорость чтения должна быть больше скорости записи, хотя бы в 2 раза ?

А с чего бы скорости записи быть меньше? Тем более в 2 раза?

от 70-100 мб/сек для обычных дисков.


Даже ближе к 150...

YAR ★★★★★
()
Ответ на: комментарий от YAR

Если топовые скоростные брать из обычных, возможно. Хотя даже для топовых дисков пишут порядка 120 мб/сек.

mashina ★★★★★
()
Ответ на: комментарий от mashina

# hdparm -tT --direct /dev/sda
/dev/sda:
Timing O_DIRECT cached reads: 504 MB in 2.01 seconds = 251.30 MB/sec
Timing O_DIRECT disk reads: 400 MB in 3.00 seconds = 133.20 MB/sec

Обычный одноблинный WDC WD5000AAKS с плотностью записи 500 Гб/пластина. После него уже появились диски с 667 и 750 Гб/пластина. Так что это далеко не топ.

YAR ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.