proxmox fc san

Чтобы успешно работали блокировки, выбери для lvm опцию shared.

Вот в принципе меня этот параметр и вверг в раздумья, так как в вики пм указано что LVM не SHARED но с оговоркой что можно использовать с ISCSI (не люблю скоски и оговорки =). И в варианте с FC я так понял эта оговорка должна работать.

При работе кластера с shared хранилищем гарантируется(скорее всего) монопольность доступа к созданным lv. Если не выбрать в проксе опцию shared можно потерять данные при совместной записи на одну lv разными участниками кластера.

Спасибо за объяснение! Завтра-послезавтра попробую внедрить как новое хранилище. Проверю LVM и отпишу опыт.

Всё взлетело. Долго думал как это должно выглядеть, оказалось все просто - достаточно смонтировать на каждой ноде multipath, на одной из нод создать пул и прописать его в storage.cfg. Только теперь странная проблема с IO delay ~ 5% в среднем.

delay возникает только при работе как с shared storage ?

Не получиться проверить так как оба стора shared один iscsi другой (новый) scsi через hba. На iscsi задержка < 1. Есть мнение что тормозит сам мезонин (hba Emulex 8Gb Fibre Channel Expansion Card (CIOv)).

Т.е. оно уже кем-то используется и играться нельзя ?

К сожалению пришлось вводить в эксплуатацию очень быстро, на эксперименты времени не осталось (что печалит). Сейчас обнаружил что на гостевых машинах стоял режим Writethrough, попробую поставить Writeback.

Игра с режимами кеша ни к чему не привела, но iostat на хранилке показывает что при нагрузке ~800Мб/с await проседает до 300. Или дает о себе знать не последняя прошивка, или cfq УГ в данной конфигурации (хотя решение проверенное). На днях поиграю с планировщиком, посмотрю что будет. Ядро в хранилке пересобирал с пачами scst для qla2xxx.

Потестировал планировщики и был прав. С дедлайном все нормально работает, а с cfq просадка пр нагрузке. К сожалению не знаю как прикрепить картинку поэтому оставлю ссылку с графиками.

График