LINUX.ORG.RU
Форум — Admin  

Proxmox + Raid10 SSD

 , , , ,


0

1

Подскажите, пожалуйста, как правильно настроить связку? Такое впечатление, что у proxmox есть еще какой то кэш поверх raid, и который «затыкается» при какой то производительной операции типа миграции или восстановления из бэкапа (выглядит это так - в начале все хорошо, скорость очень высокая, после копирования 8-10 гб примерно скорость падает «в пол», а LA идет уже 20-50). Контроллер LSI 9260-8i, 4 новых диска SSD Samsung 850 EVO 500gb, заполнено 5-10% дисков. Strip size 64kb

Adapter 0 -- Virtual Drive Information:
Virtual Drive: 0 (Target Id: 0)
Name                :
RAID Level          : Primary-1, Secondary-0, RAID Level Qualifier-0
Size                : 930.5 GB
Sector Size         : 512
Mirror Data         : 930.5 GB
State               : Optimal
Strip Size          : 64 KB
Number Of Drives per span:2
Span Depth          : 2
Default Cache Policy: WriteThrough, ReadAheadNone, Direct, No Write Cache if Bad BBU
Current Cache Policy: WriteThrough, ReadAheadNone, Direct, No Write Cache if Bad BBU
Default Access Policy: Read/Write
Current Access Policy: Read/Write
Disk Cache Policy   : Enabled
Encryption Type     : None
Is VD Cached: No

по синтетических тестам копирования с родительского сервера и виртуалок скорость ожидаемая, что то вроде 1 гб\с. сам proxmox стоит на 2 sata отдельно, на ssd только виртуалки



Последнее исправление: Anfernee (всего исправлений: 1)

По дефолту проксмокс использует режим кеширования дисков None, который, внезапно, означает не полное отсутствие кеша, как можно было бы подумать, а наличие кеша на запись на уровне гостевой системы. Для полной синхронной записи/чтения (каждая операция синкается, а кеша виртуализации нет вообще) необходим режим directsync, ну или режим writethrough, если чтение предпочтительно кешировать на гипервизоре.

Также не стоит забывать про Dirty кеш виртуалки, который может забиваться, если ты из оперативки пишешь, например. И тогда это классический 12309

chaos_dremel ★★
()
Ответ на: комментарий от Deleted

вот прям ждал это сообщение) а вы чего то более полезное по теме можете написать? диски по адекватной цене и адекватными характеристиками. ФС - дефолт LVM Thin

Anfernee
() автор топика
Ответ на: комментарий от chaos_dremel

вот тоже к этому пришел. обнаружил, что стоит writeback на виртуалках. но играет ли это роль при восстановлении из бэкапа? так то при рабочих виртуалках претензий не было - только когда какая нештатная нагрузка

Anfernee
() автор топика
Ответ на: комментарий от Anfernee

Обычно дефолтом zfs выбирают. Потому и спросил.
Вот посмотрите ка на картинку
https://hsto.org/webt/sq/mz/sv/sqmzsvi9rtxqv8n6kxzxrkmmbtk.png
на 850 evo всё ещё печальней, особенно еа 500 гиговых моделях.
Ну а вообще посмотрите на предмет выравнивания партиций, мб там ещё есть проблемы.

Deleted
()
Ответ на: комментарий от Anfernee

Ага, неправильно понял вначале. Да, при восстановлении из проксмосовского бекапа кеш у виртуалок не важен. Тогда, помониторить бы через atop, что происходит в момент затупления. Смотреть на разницу в показателях когда не тупит и когда тупит. Прежде всего я бы смотрел dirty cache, IRQ и всё по дискам: iops, block size, скорость загрузка в %.

UPD. Ещё возможные кандидаты: пул энтропии и перегрев.

chaos_dremel ★★
()
Последнее исправление: chaos_dremel (всего исправлений: 2)
Ответ на: комментарий от Deleted

ZFS в soft raid 1 на 2 sata диска по скорости - ну если б хоть 300 мб было в эти моменты, я бы не спрашивал вообще:) там <100 Мб в эти моменты.

https://forum.proxmox.com/threads/proxmox-slow-with-ssd-disks-on-lsi-9260-8i.... это первым в поиске нашел - но там у человека именно с диском каким то проблема, он в конце отписался. а уже в разных комбинациях пробовал - и 4 и 6 и 8 дисков. один хрен тоже самое. может проблема как раз в sata дисках, на которых стоит система, проблема...

Anfernee
() автор топика
Ответ на: комментарий от Anfernee

Так определите через atop с какими дисками возникает проблема.
Заодно гляньте не используется ли swap, хватает ли памяти и всего такого.

Deleted
()
Ответ на: комментарий от Anfernee

Ну и вообще суть по ссылке такова: поменяли десктопное г на нормальные диски и все заработало. А скорость ниже, т.к. у тебя не последовательный доступ. У десктопных дисков с random read/write вообще печаль.

Deleted
()

взять Intel® SSD DC P[3608/3700] nvme + lsi 94xx, а не эти ваши консюмерские ево850 и архаичный 9260, который в ссд не умеет, афаик - вот тогда заиграет всеми красками жизни

etwrq ★★★★★
()
Последнее исправление: etwrq (всего исправлений: 1)
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
Admin