LINUX.ORG.RU
Форум — Admin  

Какой тип образа лучше использовать в ВМ Proxmox?

 , , ,


0

1

Всем доброго времени суток.

Раньше никогда не задумывался, но всегда наступает время когда ты углубляешься в документацию потому что в этот раз тебя никуда не торопят. Имеется небольшой кластер Proxmox (6 нод) и появилось время и желание развернуть Zabbix мониторинг.

И что-то я уперся в то какой тип образов мне лучше использовать для данной задачи. Почитал про qcow2, raw и в голове всё перемешалось.

Как я понимаю плюсы в использовании qcow2 это возможность создания снапшотов, что удобно при начальной настройке. Но, пишут, что нецелесообразно использовать для БД. А она будет нужна. Т.е. по идее можно поставить ОС на .qcow2, а диск для БД прикрутить отдельно и сделать его .raw. Или все эти извращения не стоят ничего и можно использовать то, с чем привык работать?

★

этот раз тебя никуда не торопят

Ну возьми и потестируй разные варианты, раз никуда не торопят.

Deleted
()
Ответ на: комментарий от Deleted

Я потестировал hdparm и dd на чтение/запись и разницы особой нет. Т.е. в пределах погрешности. Поэтому и решил спросить. Ибо про .qcow2 тут прямо пишут, что для серверов БД использовать нецелесообразно. Но, если разница минимальна, то в чем подвох..?

hanharr ★
() автор топика

Юзаю qcow2 так как нет СХД, все нормально, поматриваю что бы перейти на zfs, только хочу памяти на нодах до 128 гб докинуть

Ien_Shepard ★★★
()
Ответ на: комментарий от hanharr

Подвох в том, что ты тестировал последовательные чтение/запись, а у бд нагрузка будет более рандомная. Лучше с помощью fio потестируй.

Deleted
()

Вангую, что различия qcow и raw начнут проявляться, когда будет сделан снапшот поперек боевой базы.

slowpony ★★★★★
()
Ответ на: комментарий от slowpony

Вот да, судя по тестам приведенным на хабре при наличии снапшота скорость записи улетает в трубу. Но, по идее если вынести БД на отдельных диск и под него сделать .raw, то проблемы такой не будет. Только стоит ли заморачиваться.

hanharr ★
() автор топика
Ответ на: комментарий от Deleted

Хм, разницы между qcow2 и raw практически нет. Но, пользуясь моментом протестировал еще с другим типом шины и вот там был провал.

qcow2/virtio

test: (g=0): rw=randrw, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=64
fio-3.1
Starting 1 process
test: Laying out IO file (1 file / 4096MiB)
Jobs: 1 (f=1): [m(1)][100.0%][r=162MiB/s,w=53.5MiB/s][r=41.4k,w=13.7k IOPS][eta 00m:00s]
test: (groupid=0, jobs=1): err= 0: pid=11741: Fri Aug 17 15:47:05 2018
   read: IOPS=42.9k, BW=168MiB/s (176MB/s)(3070MiB/18322msec)
   bw (  KiB/s): min=142312, max=202872, per=100.00%, avg=171698.75, stdev=15578.15, samples=36
   iops        : min=35578, max=50718, avg=42924.64, stdev=3894.56, samples=36
  write: IOPS=14.3k, BW=55.0MiB/s (58.7MB/s)(1026MiB/18322msec)
   bw (  KiB/s): min=47144, max=68008, per=100.00%, avg=57390.06, stdev=5213.16, samples=36
   iops        : min=11786, max=17002, avg=14347.50, stdev=1303.29, samples=36
  cpu          : usr=18.27%, sys=62.24%, ctx=74201, majf=0, minf=22
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=100.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0%
     issued rwt: total=785920,262656,0, short=0,0,0, dropped=0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=64

Run status group 0 (all jobs):
   READ: bw=168MiB/s (176MB/s), 168MiB/s-168MiB/s (176MB/s-176MB/s), io=3070MiB (3219MB), run=18322-18322msec
  WRITE: bw=55.0MiB/s (58.7MB/s), 55.0MiB/s-55.0MiB/s (58.7MB/s-58.7MB/s), io=1026MiB (1076MB), run=18322-18322msec

Disk stats (read/write):
    dm-0: ios=784183/262081, merge=0/0, ticks=753088/193175, in_queue=946416, util=99.50%, aggrios=785920/262662, aggrmerge=0/1, aggrticks=753957/193287, aggrin_queue=947017, aggrutil=99.40%
  vda: ios=785920/262662, merge=0/1, ticks=753957/193287, in_queue=947017, util=99.40%

raw/virtio

test: (g=0): rw=randrw, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=64
fio-3.1
Starting 1 process
Jobs: 1 (f=1): [m(1)][100.0%][r=156MiB/s,w=51.1MiB/s][r=40.0k,w=13.1k IOPS][eta 00m:00s]
test: (groupid=0, jobs=1): err= 0: pid=1406: Fri Aug 17 15:52:32 2018
   read: IOPS=41.2k, BW=161MiB/s (169MB/s)(3070MiB/19056msec)
   bw (  KiB/s): min=128584, max=209995, per=100.00%, avg=164979.61, stdev=18503.28, samples=38
   iops        : min=32146, max=52498, avg=41244.87, stdev=4625.77, samples=38
  write: IOPS=13.8k, BW=53.8MiB/s (56.5MB/s)(1026MiB/19056msec)
   bw (  KiB/s): min=42992, max=69651, per=100.00%, avg=55142.21, stdev=6188.86, samples=38
   iops        : min=10748, max=17412, avg=13785.53, stdev=1547.17, samples=38
  cpu          : usr=16.43%, sys=62.24%, ctx=111267, majf=0, minf=24
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=100.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0%
     issued rwt: total=785920,262656,0, short=0,0,0, dropped=0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=64

Run status group 0 (all jobs):
   READ: bw=161MiB/s (169MB/s), 161MiB/s-161MiB/s (169MB/s-169MB/s), io=3070MiB (3219MB), run=19056-19056msec
  WRITE: bw=53.8MiB/s (56.5MB/s), 53.8MiB/s-53.8MiB/s (56.5MB/s-56.5MB/s), io=1026MiB (1076MB), run=19056-19056msec

Disk stats (read/write):
    dm-0: ios=779206/260377, merge=0/0, ticks=880625/211163, in_queue=1092212, util=99.52%, aggrios=785920/262656, aggrmerge=0/0, aggrticks=886786/212807, aggrin_queue=1099545, aggrutil=99.44%
  vda: ios=785920/262656, merge=0/0, ticks=886786/212807, in_queue=1099545, util=99.44%

raw/ide0

test: (g=0): rw=randrw, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=64
fio-3.1
Starting 1 process
Jobs: 1 (f=1): [m(1)][100.0%][r=11.4MiB/s,w=3983KiB/s][r=2927,w=995 IOPS][eta 00m:00s]
test: (groupid=0, jobs=1): err= 0: pid=1431: Fri Aug 17 16:10:03 2018
   read: IOPS=2539, BW=9.92MiB/s (10.4MB/s)(3070MiB/309471msec)
   bw (  KiB/s): min= 6288, max=11696, per=99.99%, avg=10157.05, stdev=555.73, samples=618
   iops        : min= 1572, max= 2924, avg=2539.24, stdev=138.94, samples=618
  write: IOPS=848, BW=3395KiB/s (3476kB/s)(1026MiB/309471msec)
   bw (  KiB/s): min= 2064, max= 4048, per=100.00%, avg=3394.58, stdev=245.56, samples=618
   iops        : min=  516, max= 1012, avg=848.57, stdev=61.37, samples=618
  cpu          : usr=11.47%, sys=33.20%, ctx=1042281, majf=0, minf=24
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=100.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0%
     issued rwt: total=785920,262656,0, short=0,0,0, dropped=0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=64

Run status group 0 (all jobs):
   READ: bw=9.92MiB/s (10.4MB/s), 9.92MiB/s-9.92MiB/s (10.4MB/s-10.4MB/s), io=3070MiB (3219MB), run=309471-309471msec
  WRITE: bw=3395KiB/s (3476kB/s), 3395KiB/s-3395KiB/s (3476kB/s-3476kB/s), io=1026MiB (1076MB), run=309471-309471msec

Disk stats (read/write):
    dm-0: ios=785730/262619, merge=0/0, ticks=16663188/3000047, in_queue=19663788, util=100.00%, aggrios=781302/262291, aggrmerge=4619/411, aggrticks=16585581/2994749, aggrin_queue=19579785, aggrutil=100.00%
  sda: ios=781302/262291, merge=4619/411, ticks=16585581/2994749, in_queue=19579785, util=100.00%
hanharr ★
() автор топика

А чём профит qcow по сравнению с zfs?

Harliff ★★★★★
()

zvol или lvm как сырой том. - Самое быстрое и фичастое. qcow2, это хорошо, но со снепшотами могут быть приколы. - Например, они очень долго удаляются и т.д. В общем, юзаешь qcow2 и молишься. Я отказался от него в пользу zvol

DALDON ★★★★★
()
Ответ на: комментарий от DALDON

Сейчас на raw вообще всё крутится. Без снапшотов разницы с qcow2 нет, а вот с ними в несколько раз скорость записи проседает. Но, это предсказуемо.

hanharr ★
() автор топика
Ответ на: комментарий от hanharr

В общем, у меня продуктив бегал на qcow2. Делаешь снепшот (даже без ram). Через пару дней его удаляешь... - И ждёшь минут 10. Пока оно удалится. А в это время машина впадает в анабиоз, рвя tcp/ip соединения. - На мелких машинках это не заметно. Речь именно о машинках среднего размера, скажем с 10-20GB RAM + записью по пять гигов в день.

DALDON ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
Admin