Исправление router, (текущая версия) :
При 32/8: 150K IOPS, avg lat - 1838, 99.99 - 11072
Такие бешеные задержки говорят о том, что очередь запросов от fio больше ( существенно больше ) глубины очереди диска ( виртуального ). Выше уже видели, что норм 0.15 мс
Поставь очередь запросов ( iodepth * numjobs ) поменьше и постепенно увеличивай. Начиная с некоторого числа у тебя почти перестанет расти IOPS и резко начнёт расти avg lat. Это значит, что полностью забил глубину очереди диска
Вот там, где на графике почти одинаковый IOPS ( от request number ), смотри минимальный avg lat. Это задержки для текущей конфигурации твоей ВМ, и там же глубина очереди виртуального диска
Пока создаваемая нагрузка не превысит возможности физического NVME диска ( а она не превысит :) ), именно эта задержка и определяет максимальный IOPS в виртуалке при фиксированной ( текущей конфигурацией ) длине очереди
Т.е. тут можно пытаться найти вариант выдачи диска, для которого задержки поменьше, или повышать глубину очереди ( если это возможно. т.к. запас по iops'ам физического диска ещё очень большой )
Исходная версия router, :
При 32/8: 150K IOPS, avg lat - 1838, 99.99 - 11072
Такие бешеные задержки говорят о том, что очередь запросов от fio больше ( существенно больше ) глубины очереди диска ( виртуального ). Выше уже видели, что норм 0.15 мс
Поставь очередь запросов ( iodepth * numjobs ) поменьше и постепенно увеличивай. Начиная с некоторого числа у тебя почти перестанет расти IOPS и резко начнёт расти avg lat. Это значит, что полностью забил глубину очереди диска
Вот там, где на графике почти одинаковый IOPS ( request number ), смотри минимальный avg lat. Это задержки для текущей конфигурации твоей ВМ
Пока создаваемая нагрузка не превысит возможности физического NVME диска ( а она не превысит :) ), именно эта задержка и определяет максимальный IOPS в виртуалке при фиксированной ( текущей конфигурацией ) длине очереди
Т.е. тут можно пытаться найти вариант выдачи диска, для которого задержки поменьше, или повышать глубину очереди ( если это возможно. т.к. запас по iops'ам физического диска ещё очень большой )