Кеш для виртуализации

сейчас посмотрим в виртуалке что за фрукт

Вот зачем всякую шляпу полудохлую советуешь? Ведь есть же smartos под виртуалки. Ну или omnios, или на крайняк openindiana, под general purpose.

так мне не виртуалки запускать, а сторедж собрать и по iscsi отдавать блочные устройства с последующем запуском виртуалок на серверах

Не, не, не. Я не советую, я исключительно в качестве примера. В том плане, что для NAS, есть готовые дистрибутивы на базе соляры. smartos - это не NAS всё же.

тогда лучше omnios или solaris.

Можно и из smartos nas и san сделать. Есть даже свои плюсы.

неужели на линуксе нет ничего нормального что придется с солярисом возится ? Может можно что то вместо zfs применить для создания storage с ssd кешем и iscsi ?

ну возьми lvm+bcache+lio или stgt или что там нынче работает.

неужели на линуксе нет ничего нормального
линуксе
нормального

ну ты понял

))) окей, все равно все варианты попробую перед тем как в «продакшен» пихать, спасибо за помощь

ну ты понял

Твой уровень развития — да понял

для kvm - bcache или zfs l2arc

Ни тот, ни другой

man lvmcache

lvm+bcache

Да тоже набор из говна и палок. Лучше уж lvmcache. Хотя и там своё гавно и палки... Но (вроде), работает.

посмотрел nexenta storage, что то насторожило что надо через сайт регистрировать свою копию, зачем они эту херню придумали. А в целом интересно, посмотрим как оно с IB работать будет и будет ли вообще

Дак а чего насторожило? Продукт то платный, не смотря на community версию. :)

да, купить. оракл ждет тебя. оно не дорогое, $1k в год за премиум саппорт на мелких x86 железках. ну или хотя бы что-то на Иллюмосе, например omnios. я лично люблю smartos и Joyent но хз или оно тебе подойдет, оно как CoreOS больше.

вот кстати. а тебе точно надо типа SAN? может просто Ceph поднимешь, у тебя там наверняка больше одного сторедж сервера. это все реплицировать все-равно надо, мультипасинг делать и тп.

А почему бы тебе, не попробовать: lvmcache + glusterfs? Предполагаю, что вариант, вполне работоспособный.

у меня всего одна storage нода, вряд ли gluster нужен при таких условиях

иди трубу шатай

Я и написал - «или что там нынче работает», потому что никогда нельзя быть уверенным в этих ваших линуксах.

Ну вот на проверочку насобиралось вот такое:
1. Linux + zfs + infiniband srp + scst target / nfs
2. FreeBSD + zfs + infiniband + ISCSI target /nfs
3. Solaris(openindiana etc) + zfs + infiniband srp + iscsi target
4. Linux,FreeBSD, Solaris + zfs + infiniband 10gbit + iscsi target/nfs
5. Linux + lvm + lvmcache + inifniband srp/10g + scst / nfs
6. Linux + lvm + bcache + infiniband srp + iscsi /nfs

Как проверю, дам знать))) Эти СХД - целая наука. Самое забавное что после внедрения решения буду заниматься вопросом реплицирования и масштабирования, но это все планы далеко в перед, сейчас задача найти максмимально скоростное и надежное решение

Самое забавное что после внедрения решения буду заниматься вопросом реплицирования и масштабирования

Я думаю, этим вопросом, необходимо заниматься уже сейчас.

Как минимум тебе стоит СРАЗУ же смотреть связки:

5. Linux + lvm + lvmcache + inifniband srp/10g + scst / nfs 6. Linux + lvm + bcache + infiniband srp + iscsi /nfs

Вот сюда, надо: или glusterfs или drbd или ПОДОБНЫЕ технологии! Там где zfs - всё лучше, конечно.

1. Linux + zfs + infiniband srp + scst target / nfs

Все пункты где есть пересечение, linux + zfs, я бы убрал. Серьёзно. Не трать времени.

Вот тебе копирование с zol:

root@kvm4:~# rsync --sparse /zroot/kvm4/dvp2/dvp2.qcow2 pve-03:/var/lib/vz/images/3002/vm-3002-disk-1.qcow2 --progress
  3,920,848,233   1%   29.06MB/s    2:59:43

Знаю, но что бы тестить репликацию, дублирование и прочие технологии нужно железо которого нет, так что пока так((

да уж, вот это скорость - ниже гигабита, спасибо за скриншот

Ну тут есть ещё тонкости rsync. В общем, то плюнул на него, и делаю scp без sparce, и имею 73 MB/sec. Но это не отменяет того, что через пол года непрерывной работы (без reboot), у меня скорость на zol - стала крайне печальной.

Там где zfs - всё лучше, конечно.

можно подробнее?

Вангую «Linux + lvm + lvmcache + inifniband srp» всех порвал (впрочем зависит от выбранной фс).

А как на самом деле по тестам?

можно подробнее?

Ну я в плане, про сжатие, дедупликацию, send/recive. Не более.

Все будет, на недели этой думаю все сделаю и поделюсь

Делись, ибо (пока), связка lvmcache - показывает себя вполне не плохо. У меня, на одном из серверов, частично отказал CPU, то есть прям был периодический kernel panic, на узле. Пока разбирался с вендором, туда-сюда, удалял lvmcache устройство (ибо вендор, не хотел менять CPU, и валил всё на IntelSSD), во время операций удаления, у меня приключился kernel panic. - Как итог, всё живо. lvmcache, всё корректно потом поудалял, данные я не потерял.

P.S. дело было в CPU, после замены оного, всё работает как часы.

Привет, скажи, у тебя lvm+lvmcache по iscsi работает или локально ?

Среди всего этого балагана, я пока начну тестирование с самого простого на мой взгляд (да и в случае нормальной работы, я смогу клиентов спокойно перетащить) - proxmox + nfs over RDMA, nfs будет располагаться на lvm разделе, созданного из четырех дисков по 1 ТБ в raid10 + включу lvm cache из двух 240 гб SSD Kigston. Пожелайте удачи.

P.S: что то с iscsi вообще все не очень хорошо вырисовывается. У проксмокса можно одновременно один и тот же лун добавить двум разным виртуалкам и почему оно так ему позволяет это для меня вопрос.
Хотелось бы и gfs2 и ocfs2 применить но как то все очень запутано будет выглядить, хотя и это я потестю после nfs. Хотел было ovirt попробовать, глянул live cd и что то не очень пока заинтересовал, кстати если кто пробовал отпишите истории успеха

или lvmcache безсмысленно юзать если используются img файлы ?

Привет! Я решил не испытывать судьбу и сделал всё локально. proxmox, через небольшой костылик в виде nfs шары, в онлайн позволяет мигрировать VM, между local нодами. Тем и пользуюсь.

включу lvm cache из двух 240 гб SSD Kigston

Убедись, что в твоих SSD, имеется конденсатор (aka capacitor).

или lvmcache безсмысленно юзать если используются img файлы ?

Судя по моим графикам в proxmox - очень даже смысленно (да собственно, та же 1С8, работает адекватно).

Вот смотри статистику:

# lvs -o cache_read_hits,cache_read_misses
  CacheReadHits    CacheReadMisses
  20250674         5251062

75% процентов чтения, приходится на SSD. Ну и вся запись так же проходит через SSD. Ну или почти вся... Я до конца, так и не осилил как работает smq

-----

Хотел было ovirt попробовать, глянул live cd и что то не очень пока заинтересовал, кстати если кто пробовал отпишите истории успеха

Я тыкал в ovirt, довольно активно.

Что меня не порадовало:

• плохая работа с local storage
• backup нужно реализовывать на двух уровнях: ovirt-engine+backup storage
• ovirt-engine, надо выносить отдельно
• глюки (exception java), реальные баги (описано в ихнем баг треккере)
• не прозрачность - всё там в uid и т.д.

Что порадовало:

• На мой взгляд, лучше и проработаннее, чем proxmox в плане построения кластерной системы.

В итоге взял proxmox (при том в бесплатном варианте). Отключил уведомления о подписке, собрал «кластер». Впилил nginx с балансировкой - то есть если одна из нод умирает - я всё равно могу войти на https://proxmox.company. Покрасил web морду в разные цвета на различных кластерах. - Пока всё работает!

Вот поднял lvmcache через nfs
вот такая стата
CacheReadHits CacheReadMisses
185615 22922

У меня тоже в кеш нормально попадает значит, можешь пожалуйста растолковать как правильно смотреть

Решил кстати использовать вместо iscsi, nfs over rdma, просто и со вкусом. С iscsi гемор в управлении iser и srp + кластерная fs нужна что как дополнительный уровень абстракции выглядит не очень хорошим решением на данный момент. Сейчас муки выбора, lvmcache или solaris zfs, ovirt или proxmox.

А это уже тебе выбирать. Исходи из бизнес требований.

ovirt - глюкав. ИМХО. Тогда уж лучше платный - RHEV.

Proxmox - мне понравился. Пользуюсь. Если нет особых требований к HA - то можно и proxmox + solaris zfs попробовать.

У меня тоже в кеш нормально попадает значит, можешь пожалуйста растолковать как правильно смотреть

Что растолковать? Если хочешь подробностей поглядеть, то копай в сторону мануала: dm-cache + smq. - Используя утилиты dm-cache - можно смотреть некоторую статистику. Я сам пока, если честно не асилил. У меня, примерно 50% попаданий в кеш. Полёт отличный. Пока.

И ещё...

• ovirt - это RHEL/centOS.
• proxmox - debian.

Учти, что тех. поддержка оборудования, вполне тебе может отказать, если ты будешь в них обращаться (даже и по железу), и они увидят у тебя deb дистрибутив.

Если нет особых требований к HA - то можно и proxmox + solaris zfs попробовать.

Какие-такие особые требования? Solaris cluster так-то уже был матёр пока линупс под стол пешком ходил. RFS и ко тоже не лыком шиты.

Я имею в виду, что как мне показалось, больше и грамотней HA реализован в ovirt, нежели в proxmox. Про хранилище - разговор вообще не веду, ибо не сталкивался.

А, ну в этом плане.