Не масштабируется скорость записи на Intel Optane

А там отдельных линий pci-e до проца хватает-то? А то у чипсета их типо много, но на самом деле до проца идёт к нему четыре, плюс отдельный x16 слот.

А то у чипсета их типо много, но на самом деле до проца идёт к нему четыре, плюс отдельный x16 слот.

Ого, вот это новость. А как об этом узнать поподробней?

Однако, при попытке писать сразу на два диска суммарная скорость записи упирается в 3 Гб/сек. При попытке писать на три диска одновременно потолок снова 3 Гб/сек

У тебя raid-массив? Чем измеряешь скорость?

Нет, не RAID-массив. Работаю с каждым диском по отдельности. Измеряю скорость через iotop. Запускаю три процесса (каждый пишет на свой оптан) - смотрю Total/Actual DISK WRITE

Откуда и что пишешь?

1 канал 1x PCI-E пропускает 1G/s.
3G/s сильно похоже на 3 х 1х PCI-E. Надо смотреть по каким шинам подключены диски.

Пишу простой сишной программой, в которой весь main - это бесконечный цикл записи.

buffer[4мегабайта] while (true) { fopen() fwrite(buffer) fclose() }

Так может проц просто нагружен до отказа и становится бутылочным горлышком?

Если я запускаю один процесс, то вижу 100% загрузку 1 ядра из 6 физических, причем эти 100% красные, т.е. в режиме ядра. Насколько я понимаю, это значит, что всё это время уходит у ядра на обработку операции fwrite. И я получаю честные 2.2 ГБ/сек. Но остальные-то ядра простаивают. Добавляю второй процесс, htop показывает, что суммарно на 100% загружены два ядра. Но есть ещё четыре. Таблица прерываний, опять же, насколько я понял (может, непарвильно?), показывает, что прерывания от дисков раскиданы равномерно по ядрам, поэтому такого, чтобы одно ядро всё на себя брало, вроде нет.

Но остальные-то ядра простаивают

Если твоя программа однопоточная, то так и должно быть.

Тестируй штатными инструментами типа dd.

Вот вывод lspci http://paste.ubuntu.com/p/gPbkVrPjdf

01:00.0 Non-Volatile memory controller: Intel Corporation Optane SSD 900P Series
02:00.0 Non-Volatile memory controller: Intel Corporation Optane SSD 900P Series
05:00.0 Non-Volatile memory controller: Intel Corporation Optane SSD 900P Series

Это ведь разные шины, да?

Попробовал, с dd результат ровно тот же самый, те же 3 Гб/сек если вместе, только загрузка процессора почти нулевая. Если поодиночке, то те же 2.2 Гб/сек на Оптан.

А вообще, dd показал идеально ровные 1.0Гб/c на диск при трёх процессах, что наводит меня на мысль трёх pсi-линиях суммарно на все диски. Но что с этим делать?

А что за материнка?

Читай документацию к материнке, там будет что-то вида «один разъем м2 работает на pcie x4 только при незанятых других, иначе скорость каждого pcie x1»

X299 UD4 Pro Вот ее спецификация http://www.gigabyte.ru/products/page/mb/x299_ud4_prorev_10#sp

А попробуй с 2 дисками

Пробовал, всё так же шарят 3 ГБ/сек на двоих при всех парных вариантах.

Попробуй тестировать скорость посредством нормально инструменат - fio .

Как пример - https://habr.com/ru/post/168711/ , можешь и автору понаписать также

у тс дешманская материнка в которой половина портов работает в режиме «или/если», что ты там тестировать собрался?

Как пример

Методика полностью описана в посте. Есть правда несколько не совсем понятных моментов:

хороший пример, ничего не скажешь.

Ну думаю отсюда понятно, что на ваши m.2 разъемы выделено 3 линии pci-e 3.0. Так сделал производитель материнки.

Прежде всего, отметим, что платы на чипсете Intel X299 ориентированы на дорогие ПК. Особенность этих плат в том, что они поддерживают процессоры с разным количеством линий PCIe 3.0 — 16, 28 и 44 линии. На базе процессорных линий PCIe 3.0 реализуются, прежде всего, слоты PCI Express 3.0 x16/x8/x4, а также иногда разъемы M.2/U.2. Сложность в данном случае в том, что для каждого типа процессоров должна быть своя реализация слотов.