LINUX.ORG.RU

qemu и ssd

 , , , ,


1

2

Собственно сабж. На борту R5 R5SL120G

при запуске:

-device virtio-scsi-pci,id=bus-scsi0 \
-drive file=/dev/disk/by-uuid/28D5DD2B087E6B9E,format=raw,discard=unmap,if=none,id=drive0,cache=directsync,aio=native -device scsi-hd,bus=bus-scsi0.0,drive=drive0 

-----------------------------------------------------------------------
CrystalDiskMark 6.0.0 x64 (C) 2007-2017 hiyohiyo
                          Crystal Dew World : https://crystalmark.info/
-----------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
* KB = 1000 bytes, KiB = 1024 bytes

   Sequential Read (Q= 32,T= 1) :   467.949 MB/s
  Sequential Write (Q= 32,T= 1) :   207.099 MB/s
  Random Read 4KiB (Q=  8,T= 8) :    86.439 MB/s [  21103.3 IOPS]
 Random Write 4KiB (Q=  8,T= 8) :    12.935 MB/s [   3158.0 IOPS]
  Random Read 4KiB (Q= 32,T= 1) :   125.975 MB/s [  30755.6 IOPS]
 Random Write 4KiB (Q= 32,T= 1) :    12.355 MB/s [   3016.4 IOPS]
  Random Read 4KiB (Q=  1,T= 1) :     9.129 MB/s [   2228.8 IOPS]
 Random Write 4KiB (Q=  1,T= 1) :     4.204 MB/s [   1026.4 IOPS]

  Test : 1024 MiB [X: 61.1% (68.3/111.8 GiB)] (x5)  [Interval=5 sec]
  Date : 2018/05/27 15:35:25
    OS : Windows 10 Professional [10.0 Build 16299] (x64)
  

Если запускать

-device virtio-scsi-pci,id=bus-scsi0 \
-drive file=/dev/disk/by-uuid/28D5DD2B087E6B9E,format=raw,discard=unmap,if=none,id=drive0,cache=directsync,aio=threads -device scsi-hd,bus=bus-scsi0.0,drive=drive0 

то

-----------------------------------------------------------------------
CrystalDiskMark 6.0.0 x64 (C) 2007-2017 hiyohiyo
                          Crystal Dew World : https://crystalmark.info/
-----------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
* KB = 1000 bytes, KiB = 1024 bytes

   Sequential Read (Q= 32,T= 1) :   749.352 MB/s
  Sequential Write (Q= 32,T= 1) :   221.160 MB/s
  Random Read 4KiB (Q=  8,T= 8) :    75.715 MB/s [  18485.1 IOPS]
 Random Write 4KiB (Q=  8,T= 8) :    25.520 MB/s [   6230.5 IOPS]
  Random Read 4KiB (Q= 32,T= 1) :    91.216 MB/s [  22269.5 IOPS]
 Random Write 4KiB (Q= 32,T= 1) :    25.544 MB/s [   6236.3 IOPS]
  Random Read 4KiB (Q=  1,T= 1) :     9.616 MB/s [   2347.7 IOPS]
 Random Write 4KiB (Q=  1,T= 1) :     3.973 MB/s [    970.0 IOPS]

  Test : 1024 MiB [X: 61.1% (68.3/111.8 GiB)] (x5)  [Interval=5 sec]
  Date : 2018/05/27 16:47:25
    OS : Windows 10 Professional [10.0 Build 16299] (x64)
  

Вообщем то вроде перегуглил все, что мог. Скорость ужасна, судя по бенчмарку. В реале, копирование разноразмерных файлов с hdd на этот sdd началось от 120 мб\сек и опустилось до 50мб\сек (как кеш кончился).

забыл добавить

#qemu-system-x86_64 -version
QEMU emulator version 2.9.0
Copyright (c) 2003-2017 Fabrice Bellard and the QEMU Project developer

Rockon ()

Бывает на материнке есть второй контроллер сата, прокинь его самого.

anonymous ()

а на хосте какая скорость у этого ssd? мб он сам по себе не оч.

ktk ★★★★ ()

SSDшники под маркой Radeon - лютая какашка. Скорости там не жди.

FluffyPillow ()
Ответ на: комментарий от FluffyPillow

обоснуйте. Мой выбор был основан на SM2258

На хосте не смотрел, вечерком проверю

Rockon ()
Ответ на: комментарий от Rockon
  • 3D TLC
  • Вместо SM2258 сюда лепят Phison S11 который вообще без буфера и перебивают маркировку на SM2258.
  • Да и вообще AMD не производит никакие SSDшники. Этим занимается китаец Galt. И соответственно качество на уровне китайца с алиэкспресса.
FluffyPillow ()
Ответ на: комментарий от FluffyPillow

Тогда вот результаты с теста io Использовал fio 2.5.1

конфа для запуска:

[test IOPS]
blocksize=8k
#место, куда смонтирован диск
filename=/run/media/rocko/rock01SSD//testFIO
filesize=1G
direct=1
buffered=0
ioengine=libaio
iodepth=64
rw=randrw
rwmixwrite=30
runtime=10
clat_percentiles=0
unlink=1
делал три теста, менял только filesize на 1, 2 и 10G

По порядку, начиная с 1G

# fio ./rw-new.ini  
test IOPS: (g=0): rw=randrw, bs=(R) 8192B-8192B, (W) 8192B-8192B, (T) 8192B-8192B, ioengine=libaio, iodepth=64
fio-3.5
Starting 1 process
test IOPS: Laying out IO file (1 file / 1024MiB)
Jobs: 1 (f=1): [f(1)][100.0%][r=66.1MiB/s,w=26.0MiB/s][r=8460,w=3455 IOPS][eta 00m:00s]
test IOPS: (groupid=0, jobs=1): err= 0: pid=4302: Mon May 28 21:39:14 2018
   read: IOPS=6156, BW=48.1MiB/s (50.4MB/s)(481MiB/10001msec)
    slat (usec): min=22, max=11277, avg=116.65, stdev=150.50
    clat (usec): min=9, max=55834, avg=7158.64, stdev=3329.05
     lat (usec): min=87, max=56676, avg=7276.06, stdev=3392.75
     lat percentiles (usec):
     |  1.00th=[ 4113],  5.00th=[ 4752], 10.00th=[ 5211], 20.00th=[ 5735],
     | 30.00th=[ 6194], 40.00th=[ 6587], 50.00th=[ 6980], 60.00th=[ 7308],
     | 70.00th=[ 7701], 80.00th=[ 8094], 90.00th=[ 8586], 95.00th=[ 9110],
     | 99.00th=[21890], 99.50th=[33162], 99.90th=[50070], 99.95th=[53216],
     | 99.99th=[55313]
   bw (  KiB/s): min=30544, max=64720, per=97.74%, avg=48138.11, stdev=7525.73, samples=19
   iops        : min= 3818, max= 8090, avg=6017.26, stdev=940.72, samples=19
  write: IOPS=2622, BW=20.5MiB/s (21.5MB/s)(205MiB/10001msec)
    slat (usec): min=49, max=2715, avg=86.29, stdev=36.64
    clat (usec): min=615, max=55908, avg=7208.18, stdev=3379.70
     lat (usec): min=750, max=56011, avg=7295.30, stdev=3391.23
     lat percentiles (usec):
     |  1.00th=[ 4146],  5.00th=[ 4817], 10.00th=[ 5211], 20.00th=[ 5735],
     | 30.00th=[ 6194], 40.00th=[ 6587], 50.00th=[ 6980], 60.00th=[ 7308],
     | 70.00th=[ 7701], 80.00th=[ 8029], 90.00th=[ 8586], 95.00th=[ 9110],
     | 99.00th=[21890], 99.50th=[32900], 99.90th=[48497], 99.95th=[52691],
     | 99.99th=[54264]
   bw (  KiB/s): min=13216, max=27504, per=98.22%, avg=20602.95, stdev=3218.90, samples=19
   iops        : min= 1652, max= 3438, avg=2575.37, stdev=402.36, samples=19
  lat (usec)   : 10=0.01%, 100=0.01%, 500=0.01%, 750=0.01%, 1000=0.01%
  lat (msec)   : 2=0.01%, 4=0.86%, 10=96.79%, 20=1.09%, 50=1.15%
  lat (msec)   : 100=0.09%
  cpu          : usr=7.41%, sys=17.18%, ctx=114358, majf=0, minf=11
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=99.9%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0%
     issued rwts: total=61571,26225,0,0 short=0,0,0,0 dropped=0,0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=64

Run status group 0 (all jobs):
   READ: bw=48.1MiB/s (50.4MB/s), 48.1MiB/s-48.1MiB/s (50.4MB/s-50.4MB/s), io=481MiB (504MB), run=10001-10001msec
  WRITE: bw=20.5MiB/s (21.5MB/s), 20.5MiB/s-20.5MiB/s (21.5MB/s-21.5MB/s), io=205MiB (215MB), run=10001-10001msec

Disk stats (read/write):
  sda: ios=29398/20604, merge=0/25016, ticks=5835/98970, in_queue=104758, util=44.47%

Собственно просьба, у кого есть возможность - сделайте такие же тесты

Rockon ()
Ответ на: комментарий от FluffyPillow

2G

# fio ./rw-new.ini 
test IOPS: (g=0): rw=randrw, bs=(R) 8192B-8192B, (W) 8192B-8192B, (T) 8192B-8192B, ioengine=libaio, iodepth=64
fio-3.5
Starting 1 process
test IOPS: Laying out IO file (1 file / 2048MiB)
Jobs: 1 (f=1): [m(1)][100.0%][r=22.6MiB/s,w=10.1MiB/s][r=2892,w=1288 IOPS][eta 00m:00s]
test IOPS: (groupid=0, jobs=1): err= 0: pid=4163: Mon May 28 21:36:58 2018
   read: IOPS=3614, BW=28.2MiB/s (29.6MB/s)(282MiB/10001msec)
    slat (usec): min=18, max=50956, avg=227.81, stdev=835.59
    clat (usec): min=4, max=319338, avg=12185.99, stdev=21328.76
     lat (usec): min=233, max=330884, avg=12414.58, stdev=21758.83
     lat percentiles (msec):
     |  1.00th=[    8],  5.00th=[    9], 10.00th=[    9], 20.00th=[   10],
     | 30.00th=[   10], 40.00th=[   10], 50.00th=[   10], 60.00th=[   11],
     | 70.00th=[   11], 80.00th=[   11], 90.00th=[   12], 95.00th=[   14],
     | 99.00th=[   93], 99.50th=[  224], 99.90th=[  305], 99.95th=[  317],
     | 99.99th=[  321]
   bw (  KiB/s): min= 1440, max=37168, per=99.89%, avg=28883.30, stdev=10652.17, samples=20
   iops        : min=  180, max= 4646, avg=3610.50, stdev=1331.58, samples=20
  write: IOPS=1547, BW=12.1MiB/s (12.7MB/s)(121MiB/10001msec)
    slat (usec): min=35, max=5115, avg=93.38, stdev=92.83
    clat (usec): min=237, max=328192, avg=12228.08, stdev=21206.38
     lat (usec): min=313, max=328327, avg=12322.25, stdev=21218.23
     lat percentiles (msec):
     |  1.00th=[    8],  5.00th=[    9], 10.00th=[    9], 20.00th=[   10],
     | 30.00th=[   10], 40.00th=[   10], 50.00th=[   10], 60.00th=[   11],
     | 70.00th=[   11], 80.00th=[   11], 90.00th=[   12], 95.00th=[   14],
     | 99.00th=[  116], 99.50th=[  220], 99.90th=[  292], 99.95th=[  305],
     | 99.99th=[  317]
   bw (  KiB/s): min=  608, max=16208, per=99.93%, avg=12367.05, stdev=4503.79, samples=20
   iops        : min=   76, max= 2026, avg=1545.95, stdev=563.02, samples=20
  lat (usec)   : 10=0.01%, 250=0.01%, 500=0.01%, 750=0.01%, 1000=0.01%
  lat (msec)   : 2=0.01%, 4=0.03%, 10=59.12%, 20=38.69%, 50=0.99%
  lat (msec)   : 100=0.14%, 250=0.77%, 500=0.23%
  cpu          : usr=4.02%, sys=10.29%, ctx=67656, majf=0, minf=13
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=99.9%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0%
     issued rwts: total=36147,15472,0,0 short=0,0,0,0 dropped=0,0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=64

Run status group 0 (all jobs):
   READ: bw=28.2MiB/s (29.6MB/s), 28.2MiB/s-28.2MiB/s (29.6MB/s-29.6MB/s), io=282MiB (296MB), run=10001-10001msec
  WRITE: bw=12.1MiB/s (12.7MB/s), 12.1MiB/s-12.1MiB/s (12.7MB/s-12.7MB/s), io=121MiB (127MB), run=10001-10001msec

Disk stats (read/write):
  sda: ios=27992/13350, merge=0/14454, ticks=5581/259361, in_queue=264909, util=56.91%

10G

# fio ./rw-new.ini 
test IOPS: (g=0): rw=randrw, bs=(R) 8192B-8192B, (W) 8192B-8192B, (T) 8192B-8192B, ioengine=libaio, iodepth=64
fio-3.5
Starting 1 process
test IOPS: Laying out IO file (1 file / 10240MiB)
Jobs: 1 (f=1): [m(1)][100.0%][r=15.5MiB/s,w=7040KiB/s][r=1978,w=880 IOPS][eta 00m:00s]
test IOPS: (groupid=0, jobs=1): err= 0: pid=3631: Mon May 28 21:33:40 2018
   read: IOPS=3361, BW=26.3MiB/s (27.5MB/s)(263MiB/10002msec)
    slat (usec): min=21, max=47848, avg=247.70, stdev=610.58
    clat (usec): min=10, max=332144, avg=13037.22, stdev=15578.59
     lat (msec): min=8, max=343, avg=13.29, stdev=15.91
     lat percentiles (msec):
     |  1.00th=[   10],  5.00th=[   11], 10.00th=[   11], 20.00th=[   12],
     | 30.00th=[   12], 40.00th=[   12], 50.00th=[   12], 60.00th=[   13],
     | 70.00th=[   13], 80.00th=[   13], 90.00th=[   14], 95.00th=[   14],
     | 99.00th=[   27], 99.50th=[  136], 99.90th=[  275], 99.95th=[  296],
     | 99.99th=[  317]
   bw (  KiB/s): min= 2608, max=30816, per=99.87%, avg=26860.80, stdev=7722.75, samples=20
   iops        : min=  326, max= 3852, avg=3357.60, stdev=965.34, samples=20
  write: IOPS=1439, BW=11.2MiB/s (11.8MB/s)(112MiB/10002msec)
    slat (usec): min=37, max=3319, avg=92.81, stdev=45.81
    clat (msec): min=8, max=343, avg=13.29, stdev=17.66
     lat (msec): min=8, max=344, avg=13.39, stdev=17.66
     lat percentiles (msec):
     |  1.00th=[   10],  5.00th=[   11], 10.00th=[   11], 20.00th=[   12],
     | 30.00th=[   12], 40.00th=[   12], 50.00th=[   12], 60.00th=[   12],
     | 70.00th=[   13], 80.00th=[   13], 90.00th=[   13], 95.00th=[   14],
     | 99.00th=[   27], 99.50th=[  192], 99.90th=[  284], 99.95th=[  309],
     | 99.99th=[  321]
   bw (  KiB/s): min= 1008, max=13504, per=99.93%, avg=11504.00, stdev=3243.59, samples=20
   iops        : min=  126, max= 1688, avg=1438.00, stdev=405.45, samples=20
  lat (usec)   : 20=0.01%
  lat (msec)   : 10=2.34%, 20=96.34%, 50=0.59%, 100=0.11%, 250=0.45%
  lat (msec)   : 500=0.16%
  cpu          : usr=4.44%, sys=10.26%, ctx=62716, majf=0, minf=10
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=99.9%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0%
     issued rwts: total=33626,14394,0,0 short=0,0,0,0 dropped=0,0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=64

Run status group 0 (all jobs):
   READ: bw=26.3MiB/s (27.5MB/s), 26.3MiB/s-26.3MiB/s (27.5MB/s-27.5MB/s), io=263MiB (275MB), run=10002-10002msec
  WRITE: bw=11.2MiB/s (11.8MB/s), 11.2MiB/s-11.2MiB/s (11.8MB/s-11.8MB/s), io=112MiB (118MB), run=10002-10002msec

Disk stats (read/write):
  sda: ios=30920/6818, merge=0/7129, ticks=5729/139005, in_queue=145608, util=58.23%

Rockon ()
Ответ на: комментарий от FluffyPillow

собственно, если есть возможность - сделайте тест своих ssd пожалуйста

Rockon ()
Ответ на: комментарий от Rockon

Samsung 850 PRO. LVM + EXT4.

1G:

test IOPS: (g=0): rw=randrw, bs=8K-8K/8K-8K/8K-8K, ioengine=libaio, iodepth=64
fio-2.16
Starting 1 process
test IOPS: Laying out IO file(s) (1 file(s) / 1024MB)
Jobs: 1 (f=1): [m(1)] [-.-% done] [201.7MB/89584KB/0KB /s] [25.9K/11.2K/0 iops] [eta 00m:00s]
test IOPS: (groupid=0, jobs=1): err= 0: pid=4074: Mon May 28 21:55:48 2018
  read : io=734128KB, bw=209452KB/s, iops=26181, runt=  3505msec
    slat (usec): min=3, max=178, avg= 8.69, stdev= 6.79
    clat (usec): min=218, max=13221, avg=1772.49, stdev=807.96
     lat (usec): min=226, max=13236, avg=1782.13, stdev=807.92
  write: io=314448KB, bw=89714KB/s, iops=11214, runt=  3505msec
    slat (usec): min=4, max=319, avg=10.57, stdev= 7.73
    clat (usec): min=129, max=12775, avg=1527.46, stdev=720.73
     lat (usec): min=143, max=12781, avg=1538.91, stdev=720.60
    lat (usec) : 250=0.03%, 500=0.51%, 750=4.45%, 1000=11.31%
    lat (msec) : 2=55.08%, 4=27.32%, 10=1.30%, 20=0.01%
  cpu          : usr=9.70%, sys=49.77%, ctx=57687, majf=0, minf=9
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=100.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0%
     issued    : total=r=91766/w=39306/d=0, short=r=0/w=0/d=0, drop=r=0/w=0/d=0
     latency   : target=0, window=0, percentile=100.00%, depth=64

Run status group 0 (all jobs):
   READ: io=734128KB, aggrb=209451KB/s, minb=209451KB/s, maxb=209451KB/s, mint=3505msec, maxt=3505msec
  WRITE: io=314448KB, aggrb=89714KB/s, minb=89714KB/s, maxb=89714KB/s, mint=3505msec, maxt=3505msec

Disk stats (read/write):
    dm-5: ios=87888/37686, merge=0/0, ticks=155252/57280, in_queue=212584, util=97.19%, aggrios=90694/39118, aggrmerge=1072/189, aggrticks=160284/59820, aggrin_queue=220288, aggrutil=96.14%
  sda: ios=90694/39118, merge=1072/189, ticks=160284/59820, in_queue=220288, util=96.14%

2G:
test IOPS: (g=0): rw=randrw, bs=8K-8K/8K-8K/8K-8K, ioengine=libaio, iodepth=64
fio-2.16
Starting 1 process
test IOPS: Laying out IO file(s) (1 file(s) / 2048MB)
Jobs: 1 (f=1): [m(1)] [100.0% done] [191.9MB/84704KB/0KB /s] [24.6K/10.6K/0 iops] [eta 00m:00s]
test IOPS: (groupid=0, jobs=1): err= 0: pid=4092: Mon May 28 21:56:48 2018
  read : io=1432.3MB, bw=204955KB/s, iops=25619, runt=  7156msec
    slat (usec): min=3, max=2493, avg= 8.81, stdev=10.37
    clat (usec): min=120, max=11024, avg=1816.42, stdev=854.34
     lat (usec): min=125, max=11029, avg=1826.11, stdev=854.24
  write: io=630496KB, bw=88107KB/s, iops=11013, runt=  7156msec
    slat (usec): min=3, max=1483, avg=10.50, stdev= 9.28
    clat (usec): min=55, max=12312, avg=1544.69, stdev=818.70
     lat (usec): min=74, max=12328, avg=1556.02, stdev=818.57
    lat (usec) : 100=0.01%, 250=0.20%, 500=0.99%, 750=4.20%, 1000=10.92%
    lat (msec) : 2=52.83%, 4=29.44%, 10=1.41%, 20=0.01%
  cpu          : usr=10.12%, sys=48.25%, ctx=121673, majf=0, minf=10
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=100.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0%
     issued    : total=r=183332/w=78812/d=0, short=r=0/w=0/d=0, drop=r=0/w=0/d=0
     latency   : target=0, window=0, percentile=100.00%, depth=64

Run status group 0 (all jobs):
   READ: io=1432.3MB, aggrb=204954KB/s, minb=204954KB/s, maxb=204954KB/s, mint=7156msec, maxt=7156msec
  WRITE: io=630496KB, aggrb=88107KB/s, minb=88107KB/s, maxb=88107KB/s, mint=7156msec, maxt=7156msec

Disk stats (read/write):
    dm-5: ios=182560/78496, merge=0/0, ticks=330804/120380, in_queue=451496, util=98.70%, aggrios=181939/78570, aggrmerge=1395/272, aggrticks=329800/121824, aggrin_queue=451724, aggrutil=98.24%
  sda: ios=181939/78570, merge=1395/272, ticks=329800/121824, in_queue=451724, util=98.24%
10G:
test IOPS: (g=0): rw=randrw, bs=8K-8K/8K-8K/8K-8K, ioengine=libaio, iodepth=64
fio-2.16
Starting 1 process
test IOPS: Laying out IO file(s) (1 file(s) / 10240MB)
Jobs: 1 (f=1): [m(1)] [100.0% done] [190.6MB/83792KB/0KB /s] [24.4K/10.5K/0 iops] [eta 00m:00s]
test IOPS: (groupid=0, jobs=1): err= 0: pid=4108: Mon May 28 21:58:03 2018
  read : io=1955.5MB, bw=200178KB/s, iops=25022, runt= 10003msec
    slat (usec): min=4, max=6323, avg= 9.14, stdev=15.05
    clat (usec): min=138, max=12183, avg=1859.07, stdev=862.58
     lat (usec): min=146, max=12198, avg=1869.13, stdev=862.49
  write: io=860696KB, bw=86044KB/s, iops=10755, runt= 10003msec
    slat (usec): min=4, max=446, avg=10.96, stdev= 8.29
    clat (usec): min=52, max=11814, avg=1583.09, stdev=817.22
     lat (usec): min=68, max=11821, avg=1594.85, stdev=817.04
    lat (usec) : 100=0.01%, 250=0.14%, 500=0.84%, 750=3.71%, 1000=10.01%
    lat (msec) : 2=51.63%, 4=32.18%, 10=1.47%, 20=0.01%
  cpu          : usr=9.04%, sys=49.07%, ctx=157845, majf=0, minf=10
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=100.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0%
     issued    : total=r=250298/w=107587/d=0, short=r=0/w=0/d=0, drop=r=0/w=0/d=0
     latency   : target=0, window=0, percentile=100.00%, depth=64

Run status group 0 (all jobs):
   READ: io=1955.5MB, aggrb=200178KB/s, minb=200178KB/s, maxb=200178KB/s, mint=10003msec, maxt=10003msec
  WRITE: io=860696KB, aggrb=86043KB/s, minb=86043KB/s, maxb=86043KB/s, mint=10003msec, maxt=10003msec

Disk stats (read/write):
    dm-5: ios=246013/105706, merge=0/0, ticks=452656/167324, in_queue=620596, util=99.16%, aggrios=250286/107604, aggrmerge=13/6, aggrticks=460280/171120, aggrin_queue=631712, aggrutil=98.68%
  sda: ios=250286/107604, merge=13/6, ticks=460280/171120, in_queue=631712, util=98.68%

FluffyPillow ()
Ответ на: комментарий от FluffyPillow

он у вас, получается, раза в 4 быстрее, что собственно не удивительно, учитывая разные весовые категории дисков =) к тому же у меня подозрение, что ntfs-3g говна кусок. К тому же, я не уверен, что у меня диск тримился (лень было проверять)

Rockon ()
Ответ на: комментарий от Rockon

ntfs-3g де-факто кусок говна. Это с помощью него монтируются у вас разделы?

FluffyPillow ()
Ответ на: комментарий от FluffyPillow

с помощью него замонтировал. Только что проверил, этот кусок говна не тримит диск. А есть адекватные альтернативы? Я нтфс`ом впринцепи не пользуюсь. Так что завтра отнесу к виндовому пк, ради интереса прогоню его через кристалдиск там. А ближе к вечеру переформатирую в ext4 (он же вроде умеет тримить автоматом?) и проведу тесты. На крайний случай отнесу его обратно в магазин =)

Rockon ()
Ответ на: комментарий от FluffyPillow

кстати в виртуальной винде, как ни странно трим работает адекватно

Rockon ()
Ответ на: комментарий от Rockon

как-то так.

test IOPS: (g=0): rw=randrw, bs=(R) 8192B-8192B, (W) 8192B-8192B, (T) 8192B-8192B, ioengine=libaio, iodepth=64
fio-3.6
Starting 1 process
test IOPS: Laying out IO file (1 file / 1024MiB)
Jobs: 1 (f=1): [m(1)][-.-%][r=306MiB/s,w=130MiB/s][r=39.2k,w=16.7k IOPS][eta 00m:00s]
test IOPS: (groupid=0, jobs=1): err= 0: pid=18728: Mon May 28 23:58:56 2018
   read: IOPS=39.0k, BW=305MiB/s (320MB/s)(717MiB/2354msec)
    slat (usec): min=3, max=368, avg= 9.52, stdev= 5.82
    clat (usec): min=116, max=15151, avg=1436.30, stdev=686.13
     lat (usec): min=122, max=15158, avg=1446.08, stdev=685.63
     lat percentiles (usec):
     |  1.00th=[  420],  5.00th=[  668], 10.00th=[  824], 20.00th=[  988],
     | 30.00th=[ 1123], 40.00th=[ 1237], 50.00th=[ 1385], 60.00th=[ 1549],
     | 70.00th=[ 1713], 80.00th=[ 1876], 90.00th=[ 2114], 95.00th=[ 2278],
     | 99.00th=[ 2638], 99.50th=[ 2835], 99.90th=[13566], 99.95th=[14353],
     | 99.99th=[15008]
   bw (  KiB/s): min=301184, max=322160, per=100.00%, avg=312776.00, stdev=10331.21, samples=4
   iops        : min=37648, max=40270, avg=39097.00, stdev=1291.40, samples=4
  write: IOPS=16.7k, BW=130MiB/s (137MB/s)(307MiB/2354msec)
    slat (usec): min=4, max=660, avg=11.39, stdev= 7.56
    clat (usec): min=15, max=2785, avg=435.02, stdev=342.38
     lat (usec): min=22, max=2874, avg=446.70, stdev=345.50
     lat percentiles (usec):
     |  1.00th=[   30],  5.00th=[   46], 10.00th=[   72], 20.00th=[  126],
     | 30.00th=[  188], 40.00th=[  255], 50.00th=[  338], 60.00th=[  461],
     | 70.00th=[  652], 80.00th=[  807], 90.00th=[  938], 95.00th=[ 1057],
     | 99.00th=[ 1336], 99.50th=[ 1434], 99.90th=[ 1893], 99.95th=[ 2180],
     | 99.99th=[ 2769]
   bw (  KiB/s): min=128304, max=137952, per=100.00%, avg=133428.00, stdev=4547.86, samples=4
   iops        : min=16038, max=17244, avg=16678.50, stdev=568.48, samples=4
  lat (usec)   : 20=0.09%, 50=2.21%, 100=2.88%, 250=7.10%, 500=7.84%
  lat (usec)   : 750=8.38%, 1000=14.81%
  lat (msec)   : 2=46.98%, 4=9.62%, 20=0.10%
  cpu          : usr=23.25%, sys=56.78%, ctx=5107, majf=0, minf=12
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=100.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0%
     issued rwts: total=91828,39244,0,0 short=0,0,0,0 dropped=0,0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=64

Run status group 0 (all jobs):
   READ: bw=305MiB/s (320MB/s), 305MiB/s-305MiB/s (320MB/s-320MB/s), io=717MiB (752MB), run=2354-2354msec
  WRITE: bw=130MiB/s (137MB/s), 130MiB/s-130MiB/s (137MB/s-137MB/s), io=307MiB (321MB), run=2354-2354msec

Disk stats (read/write):
    dm-0: ios=86172/36827, merge=0/0, ticks=87436/2032, in_queue=89468, util=95.49%, aggrios=91830/39244, aggrmerge=0/0, aggrticks=93412/2164, aggrin_queue=93560, aggrutil=93.36%

test IOPS: (g=0): rw=randrw, bs=(R) 8192B-8192B, (W) 8192B-8192B, (T) 8192B-8192B, ioengine=libaio, iodepth=64
fio-3.6
Starting 1 process
test IOPS: Laying out IO file (1 file / 10240MiB)
Jobs: 1 (f=1): [m(1)][100.0%][r=242MiB/s,w=105MiB/s][r=31.0k,w=13.5k IOPS][eta 00m:00s]
test IOPS: (groupid=0, jobs=1): err= 0: pid=18760: Tue May 29 00:02:12 2018
   read: IOPS=21.1k, BW=165MiB/s (173MB/s)(1646MiB/10003msec)
    slat (usec): min=3, max=4710, avg=12.57, stdev=16.56
    clat (usec): min=107, max=182951, avg=2519.38, stdev=5505.45
     lat (usec): min=112, max=182980, avg=2532.17, stdev=5506.62
     lat percentiles (usec):
     |  1.00th=[   490],  5.00th=[   775], 10.00th=[   938], 20.00th=[  1172],
     | 30.00th=[  1401], 40.00th=[  1598], 50.00th=[  1778], 60.00th=[  1942],
     | 70.00th=[  2114], 80.00th=[  2311], 90.00th=[  2638], 95.00th=[  3654],
     | 99.00th=[ 17433], 99.50th=[ 17695], 99.90th=[ 61604], 99.95th=[137364],
     | 99.99th=[183501]
   bw (  KiB/s): min= 9296, max=288336, per=100.00%, avg=168555.40, stdev=113311.98, samples=20
   iops        : min= 1162, max=36042, avg=21069.40, stdev=14164.03, samples=20
  write: IOPS=9059, BW=70.8MiB/s (74.2MB/s)(708MiB/10003msec)
    slat (usec): min=4, max=838, avg=14.66, stdev=12.23
    clat (usec): min=14, max=181536, avg=1153.79, stdev=4657.94
     lat (usec): min=21, max=181554, avg=1168.67, stdev=4659.92
     lat percentiles (usec):
     |  1.00th=[    28],  5.00th=[    36], 10.00th=[    49], 20.00th=[    83],
     | 30.00th=[   127], 40.00th=[   186], 50.00th=[   273], 60.00th=[   429],
     | 70.00th=[   783], 80.00th=[  1319], 90.00th=[  1778], 95.00th=[  2409],
     | 99.00th=[ 15795], 99.50th=[ 16319], 99.90th=[ 17695], 99.95th=[137364],
     | 99.99th=[181404]
   bw (  KiB/s): min= 4416, max=123968, per=100.00%, avg=72481.25, stdev=48721.91, samples=20
   iops        : min=  552, max=15496, avg=9060.15, stdev=6090.25, samples=20
  lat (usec)   : 20=0.25%, 50=3.82%, 100=3.90%, 250=6.83%, 500=4.85%
  lat (usec)   : 750=4.57%, 1000=7.19%
  lat (msec)   : 2=42.21%, 4=21.95%, 10=0.25%, 20=4.05%, 50=0.02%
  lat (msec)   : 100=0.01%, 250=0.08%
  cpu          : usr=11.95%, sys=41.80%, ctx=21414, majf=0, minf=14
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=100.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0%
     issued rwts: total=210743,90624,0,0 short=0,0,0,0 dropped=0,0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=64

Run status group 0 (all jobs):
   READ: bw=165MiB/s (173MB/s), 165MiB/s-165MiB/s (173MB/s-173MB/s), io=1646MiB (1726MB), run=10003-10003msec
  WRITE: bw=70.8MiB/s (74.2MB/s), 70.8MiB/s-70.8MiB/s (74.2MB/s-74.2MB/s), io=708MiB (742MB), run=10003-10003msec

Disk stats (read/write):
    dm-0: ios=205635/88367, merge=0/0, ticks=405052/58208, in_queue=465080, util=99.05%, aggrios=210790/90630, aggrmerge=0/7, aggrticks=412696/58212, aggrin_queue=440136, aggrutil=94.02%

ktk ★★★★ ()
Ответ на: комментарий от Rockon

Зачем вообще ntfs юзать если сидишь на лине и развертываешь виртуалки? Голые LV разделы для виртуалок и LV + ext4 для хоста.

Ext4 умеет триммить с опцией discard, но лучше в крон забить fstrim / раз в неделю.

И да, с хоста лучше не триммить разделы с виртуалками.

FluffyPillow ()
Последнее исправление: FluffyPillow (всего исправлений: 3)
Ответ на: комментарий от FluffyPillow

диск пробрасывается в виртуалку, на хосте он не используется(!). Я в первом посте написал, как он пробрасывается. LV разделы - это прекрасно, когда виртуалок много. У меня просто два монитора, на одном линь на btrfs и снапшотами, на втором винда с проброшенной видеокартой и тп. Дальше этот диск планировалось отправить в старенький ноутбук, но теперь, видимо, обратно в магазин )

Rockon ()
Ответ на: комментарий от Rockon

Вот так попробуйте:

   <disk type='block' device='disk'>
      <driver name='qemu' type='raw' cache='none'/>
      <source dev='/dev/sdX'/>
      <target dev='vda' bus='virtio'/>
    </disk>

FluffyPillow ()
Ответ на: комментарий от Rockon

Весь диск и прокидывайте в виртуалку. sdX - это как ssdшник определился на хосте.

FluffyPillow ()
Ответ на: комментарий от FluffyPillow

у меня голый qemu в данном случае. А конфы под Libvirt с виндой нет. Это речь идет о virtio-blk-pci девайсе? Он вроде не умеет тримить (попробую)

Rockon ()
Ответ на: комментарий от FluffyPillow

Да (хотя либ вирт на борту имеется, но что бы под него запихать мой конфиг с этой виндой, надо перечитать тонны мануалов по нему). Винда рабочая, сидит на программном рейде и делит с системой hugepages уже года два. Работает почти без просадок

mdadm --detail /dev/md1
/dev/md1:
        Version : 1.2
  Creation Time : Mon Sep 12 03:13:22 2016
     Raid Level : raid1
     Array Size : 244066432 (232.76 GiB 249.92 GB)
  Used Dev Size : 244066432 (232.76 GiB 249.92 GB)
   Raid Devices : 2
  Total Devices : 2
    Persistence : Superblock is persistent

  Intent Bitmap : Internal

    Update Time : Mon May 28 20:34:16 2018
          State : clean 
 Active Devices : 2
Working Devices : 2
 Failed Devices : 0
  Spare Devices : 0

           Name : Rock01:1  (local to host Rock01)
           UUID : 733bc231:6a3486c5:b3209538:b1ccd431
         Events : 11990

    Number   Major   Minor   RaidDevice State
       0       8       48        0      active sync   /dev/sdd
       1       8       33        1      active sync   /dev/sdc1
поживает и горя не знает. Впринцепи для большинства игрушек и софта её хватает с лихвой. Сейчас я ради старого ноутбука с виндой (не моего) купил бомжатский ssd (ему другой и не нужен). Пока ноутбук не у меня, тестировать где-то надо. Я решил пробросить его тупо в винду и замерить «типо скорости» той же утилитой, что и всякие юзеры себе меряют скорости ссд (crystaldisk'ом), просто для сравнения. Результат мягко говоря странный. Учитывая то, что я планировал себе прикупить для гостя нормальный ssd - даже пугающий, ибо эксперимент провалился. И теперь я пытаюсь выяснить, это у меня кривые руки или железо кривое. Для этого нужен кто-то, кто уже пробрасывал в гостей ssd целиком и, желательно, в виндовых.

Rockon ()
Ответ на: комментарий от Rockon

Всё понял.

У меня тоже qemu-kvm с libvirt и я тоже имею винду с проброшенной видеокартой для игрушек. Использую LV раздел диска для виртуалки. Производительность на хорошем уровне.

Попробуйте с помощью virt-manager создать виртуалку с виндой с этим целым диском (как я писал). И померить производительность.

FluffyPillow ()
Ответ на: комментарий от FluffyPillow

а можно конфу в студию из либ вирта? hugepages используете? И на хорошем - это на каком? У меня в танках (черт, я танкую иногда да), фпс на том же уровне, что и под виндой (я проверял, правда, еще на старом движке, но на новом скорее всего будет так же). Диски монтируются так:

-drive file=/dev/md1,format=raw,if=none,id=drive-sata0-0-2,cache=writeback -device virtio-blk-pci,drive=drive-sata0-0-2,bootindex=1 \
Хотя времена меняются и, возможно, этот способ монтирования уже устарел и есть более быстродейственный. Просто не искал его

Rockon ()
Ответ на: комментарий от Rockon

Увы, не дома, конфиг показать не могу. «На хорошем» - это значит всё быстро работает (те же танки). Хотя тесты вообще не гоняю. Да и в виртуалке они чудные (в большую сторону).

FluffyPillow ()
Ответ на: комментарий от FluffyPillow

ну это да. Реально чудные, производительность дисков например мерить с cache=writeback нереально, во всяком случае пока кеш не закончится, но это единственный вариант, когда танки грузятся за 20 секунд до начала боя (лоол, да, я изначально мерил производительность дисковой системы именно так) По поводу cpu и памяти:

qemu-system-x86_64 \
-balloon virtio \
-mem-path /dev/hugepages \
-nodefaults \
-monitor stdio \
-nodefconfig \
-serial none \
-parallel none \
-machine q35,accel=kvm,vmport=off,dump-guest-core=off \
-name Windows10 \
-enable-kvm -m 10G -cpu host,hv_relaxed,hv_spinlocks=0x1fff,hv_vapic,hv_time,hv_vendor_id=fucknvidia,kvm=off  \

Rockon ()
Ответ на: комментарий от Rockon

Да и зачем синтетика? Главное чтобы на глаз всё было замечательно.

По конфигу всё нормально.

Ну так что, будем подбирать SSDшник за 4-5к?

FluffyPillow ()
Ответ на: комментарий от FluffyPillow

т.е. винда живет в образе что ли? Это на SSD образ? А как же фрагментация? Я с этим столкнулся, правда на ssd У меня получилась двойная дефрагментация, сначала на на xfs а потом внутри образа на местном диске. Плюнул и выдал винде пару старых hdd. Стало в разы лучше. Винда грузится до логонскрина секунд 15-20 мб

Rockon ()
Ответ на: комментарий от FluffyPillow

подкиньте инфу, почему нет. Пока другие люди не подошли и не дали совет.. Если есть адекватные ssd за эту цену, куплю себе конечно

Rockon ()
Ответ на: комментарий от Rockon

Альтернативу за ту же цену не посоветуете?

Ток сегодня смотрел в ДНС-е

https://www.dns-shop.ru/product/cf2c1832e6bf3330/120-gb-ssd-nakopitel-wd-gree...

https://www.dns-shop.ru/product/a35028bb48ac3330/120-gb-ssd-nakopitel-sandisk...

https://www.dns-shop.ru/product/ae4904f990da3330/120-gb-ssd-nakopitel-wd-gree...

Выбирай любой. Вестерны не юзал, но по опыту должно быть норм. А сандиск юзаю. мну нравитсо.

AfterWork ()
Ответ на: комментарий от Rockon

Зачем столько абстракций? Для винды есть LV раздел на SSDшнике. Она прямо на него и встала. Без дополнительных образов.

FluffyPillow ()
Ответ на: комментарий от AfterWork

спасибо, я обязательно посмотрю. Вообще ищется ssd под мелкие файлы. Я уже замучался читать обзоры, выбирать исходя из того, какие там контроллеры, ну и тп.

Rockon ()
Ответ на: комментарий от FluffyPillow

Я не понимаю, что такое LV раздел ) И это не гуглится

Rockon ()
Ответ на: комментарий от Rockon

Вообще ищется ssd под мелкие файлы.

У меня он юзается как системный на ноуте десктопном под линуксом. Скорость меня более чем устраивает. Насчет массы мелких файлов ничего не скажу. Специально не тестил.

AfterWork ()
Ответ на: комментарий от FluffyPillow

Вот хороший.

ИМХО у него ценник не разумный для его характеристик. Переплачивать треть цены за не очень явную добавку к скорости ИМХО перебор. Хотя, дело вкуса.

AfterWork ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.