LINUX.ORG.RU

5
Всего сообщений: 63

Какие порты использует Mnesia/Ejabberd при кластеризации?

Hi, Folks.

Subj. Смотрел в документации но не нашел явного упоминания об этом.

Спасибо.

 , , ,

trancefer ()

Проблема с clvmd.

Коллеги, прошу помочь:

[root@node1 ~]# /usr/sbin/clvmd -d 1 -I mycluster
  local socket: connect failed: Connection refused
CLVMD[41167880]: Nov 15 01:49:56 CLVMD started
CLVMD[41167880]: Nov 15 01:49:56 Can't initialise cluster interface
  Can't initialise cluster interface.
в journalctl пишется:
Nov 15 01:49:56 node1.domain.com clvmd[34618]: Unable to create DLM lockspace for CLVM: Transport endpoint is not connected
Nov 15 01:49:56 node1.domain.com kernel: dlm: no local IP address has been set
Nov 15 01:49:56 node1.domain.com kernel: dlm: cannot start dlm lowcomms -107
весь гугл перерыл, ничего не смог найти. о каком интерфейсе идет речь и как его настроить ?
в man clvmd ничего не написано.

 , ,

dada ()

Помогите в выборе решения для кластера postgresql

Доброго времени суток!

Хотел бы задать вопрос, который уже неоднократно тут поднимался, но все же.

Есть задача поднять PostgreSQL-кластер.

Мульти-мастер не рассматриваю, так как везде пишут, что это не совсем стабильное решение. Хотя возможно что-то изменилось в данный момент.

Хотелось бы настроить для теста трех-узловой кластер в режиме Active/Standby. Возможно ли такое, так чтобы Stanby-серверов было 2? Как я понимаю, реализуется это через pg_pool-II.

Я новичок в postgres и потому все время с оглядкой смотрю на mariadb с её galera.

Честно, совсем не представляю себе вообще какую реализацию репликации выбрать.

Смотрел в сторону postgresql-xl и citus, но пока не разбирался с ними основательно. И стоит ли разбираться с ними вообще?

 ,

dmnord ()

Кластеризация ejabberd

Всем привет!

Возник такой вопрос - какие имеются ограничения по созданию кластера из серверов ejabberd? Собственно, само создание кластера из себя ничего сложного не представляет, join_cluster и вперед, были бы правильно сконфигурированы ноды. Но ответа на вопрос сколько нод можно добавить в кластер, пока не начнутся программные сбои, я не нашел ни в официальной документации (она весьма лаконична), ни на форумах. Интуиция подсказывает, что ограничителем будет являться движок, написанный на Erlang'е, однако, может быть кто-то уже исследовал этот вопрос и поделится опытом?

 , , ,

alexnorton ()

Proxmox 4 Cluster + HA

Доброго времени суток. Переделка очередных кастылей после подрядчика. Имеем два железных сервера RHEL 6.4 с Heartbeat, теоритически рабочую репликацию MySQL :-), GlusterFS с кодом сайта Bitrix (репликация между двумя серверами). Хотелось бы переделать всё в Proxmox кластер, завернуть сайты в ВМ на базе KVM. Это вопрос десятый и проблем не составляет. Нет общего хранилища, но хотелось бы использовать Live Migration и HA. Что посоветуете? У кого есть опыт? Локального дискового пространства несколько терабайт. Какие связки использовать и реально ли с локальных хранилищ получить HA? Смотрю в сторону Ceph.

 , , ,

sss-man ()

расскажите неучу про типы shared-дисков для ha.

вот есть у меня апач. прыгает по нодам и все счастливы.
теперь хочется, что бы вместе с самим апачем прыгал и его document_root.
создается диск, добавляется как ресурс и все дела, но:
в мануалах и гайдах все говорят также и про quorum и про fencing.
не могу вкурить разницу между ними, а также зачем они вообще нужны.
если можно, на пальцах.
вот в доке centos-a написано:

Quorum Disk is a disk-based quorum daemon, qdiskd, that provides supplemental heuristics to determine node fitness. With heuristics you can determine factors that are important to the operation of the node in the event of a network partition. For example, in a four-node cluster with a 3:1 split, ordinarily, the three nodes automatically «win» because of the three-to-one majority. Under those circumstances, the one node is fenced. With qdiskd however, you can set up heuristics that allow the one node to win based on access to a critical resource (for example, a critical network path). If your cluster requires additional methods of determining node health, then you should configure qdiskd to meet those needs.

т.е. кворумный не является обязательным ?

 , ,

dada ()

corosync: разделение узлов кластера на группы (???)

Добрый день!

Есть 5 серверов с установленных CentOS7.
Требуется на этих пяти серверах развернуть базу данных MariaDB Galera (отдав под нее 3 сервера из 5), веб-сервера Nginx также займут 3 сервера из 5.
Ко всему, есть еще пару сервисов которым нужен отдельный VIP, эти сервисы также планируется распределить равномерно по кластеру.
Возникает несколько вопросов:
1) Каким образом можно разделит узлы кластера corosync на группы?
2) Учитывая первый вопрос как настраивать quorum в кластере?
Возможно ли вообще такое? Почитав документацию, я немного приуныл.

 ,

dmnord ()

CentOS 6.5 cluster + EMC VNX5400 Block + mpath + GFS2 + PG

Здравствуйте, коллеги!

Собственно такая идея:

Цепляем на гипервизор LUN от SAN стораджа, собираем к нему пути через multipath, получаем девайсину /dev/mapper/mpathb. (Active/Passive) Поднимаем две виртуалки, вписываем нашу сторадж-девайсину в /etc/libvirt/qemu/%guests%.xml

  <disk type='block' device='disk'> 
         <driver name='qemu' type='raw' cache='none'/> 
         <source dev='/dev/mapper/mpathb'/> 
         <target dev='sdс' bus='scsi'/> 
  </disk> 

, делаем virsh define, ребутаем ноды и проверяем, что все прицепилось. ставим на ноды cman, ricci, rgmanager, fence, gfs2-utils. На HV, соответственно, ставим Luci.

Далее на обеих нодах пишем:

mkfs.gfs2 -p lock_dlm -t testcluster:GFS -j 2 /dev/XXX 

Лезем на Luci https://node3:8084

Создаем кластер, Qdisk, failover домен, монтируем gfs2 диск на обеих нодах (например, в /pgsql), добавляем ресурс GFS2 на кластер, создаем сервисную группу и добавляем ресурс GFS2. Выдыхаем.

Далее на обеих нодах ставим postgres, на одном инициализируем БД в /pgsql, на втором показываем где лежит БД, создаем failover IP, под которым будет жить postgres.

Это все описано коряво, но, надеюсь, идею удалось донести. Итак, уважаемые, прошу вашего мнения - будет ли это жить, годится ли такое решение в продакшн или может быть у кого-нибудь есть более продуктивные «боевые» наработки и советы, которыми не жалко поделиться?

 , , , ,

kadmin88 ()

Сравнение ПО построения кластера

Если я не ошибаюсь, сейчас в тренде 2 (?) подхода построения linux кластеров: pacemaker apache mesos openstack kubernetes (and OpenShift)

В чём их различие, какие у них use-cases?

Mesos унифицирует железные ресурсы кластера. Задачи - контейнеры с обязательным указанеием лимита ресурсов - запускаются на любом сервере в кластере по усмотрению mesos. (?)

Kubernetes и его форк OpenShift - нужны для service discovery и восстановления упавших сервисов (?).

Предлагаю обсудить сабж, - очень интересен опыт людей реально использующих данные решения в production.

 

qwerty93 ()

from openMP to MPI

пытаюсь перейти на MPI с openMP... чтобы использовать на кластере...
читаю о этом MPI и ничего не понимаю...
может кто посоветует где почитать в доступтой форме!
все что гуглил, не осилил...
есть вот такое:

#include <omp.h>
...
int main() {

LaserChar *laserChar = new LaserChar;

readFile(*laserChar);

#pragma omp parallel for collapse(2)
    for (size_t i=0; i<laserChar->V1.size(); ++i) {       
        for (size_t j=0; j<laserChar->V2.size(); ++j) {
                Design *des=new Design;
                des->value=laserChar->parameters[i][j];
                some_function(*des);
                laserChar->value[i][j]=des->results;
                delete des;
}}

writeFile(*laserChar);
delete laserChar;
return 0;
}

как его переписать в MPI? или что я делаю не так (желательно не в грубой форме)?
p.s. этот говнокод работает, а это главное.

 , , , ,

rgB ()

proxmox cluster, две ноды в дц: помогите с мультикастом

Приветствую! Задача - объединить две ноды, физики в одном дц, в одной подсети (белые соседние адреса, шлюз один) в кластер.

Проблема - нет кворума. Подозреваю - непроходит мультикаст. Расскажите пожалуйста, что это такое, как его проверить перед попытками создать кластер. Чтение мало проясняет пока.

Альтернативный вариант - openvpn, и внутренняя сеть. Но очень бы не хотелось в силу многих причин..

Проксмокс 3.4, pveupgrade сделан с репо no-subscribtions

 , , ,

whoim ()

Proxmox cluster: storage

В раздумиях над тем, какой сторедж выбрать для небольшого кластера (3 ноды) на proxmox. DRBD не особо хочется, sheepdog - не уверен что пригоден к использованию в продакшне. GlusterFS - не радует тем, что юзерспейс + судя по вики - в proxmox поддержка запилена как proof of concept. Больше склоняюсь к Ceph.

В принципе - от стореджа нужно в первую очередь минимум гемора при восстановлении в нештатных ситуевинах и нормальное резервирование, и во вторую очередь уже скорость (БД будет держаться не в виртуалках, а на самих нодах).

Кто что подсоветует?

 ,

NiTr0 ()

Отказоустойчивость на Amazon EC2

Приветствую, уважаемое комюнити!

Прошу подсказать, как лучше организвать отказоустойчивый кластер при помощи EC2 сервисов.

Необходимо построить отказоустойчивые кластера для почты(Postfix+Dovecot) и для FTP.

Для постфикса читал, что необходимо делать с помощью днс приоритета серверов, но для меня важно чтобы мои пользователи в настройках почтовиков, в случае падения первого сервера, ничего не меняли. Как это лучше сделать?

Относительно Dovecot - читал что можно использовать dsync. Но опять таки - пользователи.

Для FTP думаю использовать или drbd или GlusterFS.

Какие сервисы Амазона лучше использовать, чтобы минимизировать работу для пользователей.

У кого есть опыт построения подобных кластеров, буду признателен совету.

 , , , ,

kbu ()

Кластер на proxmox

С Новым годом, дорогие друзья !!! вОТ ВОПРОС. Есть два сервера A и B У сервера A есть 8 винтов по 1ТБ, у сервера B только 2 винта по 750ГБ.На обоих серваках стоит proxmox на RAID 1 без LVM. Надо создать кластер с помощью DRBD. Можно ли создать кластер на этих двух серваках, если у них разный объем ??? И можно ли не использовать дополнительный раздел для storage-a, должен он ли быть ?? Кластер будет в тестовом режиме, в продакшн не пойдет, просто тест.

 , ,

darknet ()

«Подарок» от Western Digital

Всем привет и всех с Новым Годом!

А теперь о теме.

Вестерн Диджитал принесли мне «подарочек» под Новый Год :)

Обнаружил, что многочисленные программки в линуксе рапортуют мне о размере кластера (физический размер блока) с размером не в 4096 байт, а в 512 байт! Диск - WD Green 1.5TB. Всем ясно, что фишку «Advanced Format» придумали не просто так, а именно из-за того, что размер кластера на новых винтах отличен от ранее принятого стандарта в 512 Байт на физический кластер. Я думал, что софт сырой. Пробовал разные софтины. Нашёл подтверждение в интернете, что софт не сырой, что я всё делал правильно. А проблема в..... жёстком диске!

Нашёл топик на этом форуме, он уже заархивирован, поэтому отвечать туда не могу.

www.linux.org.ru/forum/desktop/5652190

В этом топике Товарищ Relan пишет:

Кстати, у первых хардов WD с 4К сектором был баг — они рапортовали размер сектора 512 байт, ну и софт вел себя соответствующе. В вашей тошибе нет такой проблемы?

У меня как раз тот винт был куплен довольно рано (недолго после их появления). Блин... что теперь делать таким горе-юзерам, поимевшим счастье купить глючный винт супер-мега-крутой корпорации Вестерн Дигитал?

Его можно как-то починить, чтобы он сообщал правильный размер физического кластера? Может есть новые прошивки для него? По идее, это прошивкой должно лечиться.

Если починить нельзя, то скажите, как правильно отформатить его в линуксе и создать ФС типа ext4.

Пробовал через: mkfs.ext4 -b 4096 -C 4096 -t ext4 /dev/sdb1

но утилита ругеается, пишет что нужен bigalloc: mkfs.ext4: specifying a cluster size requires the bigalloc feature

OS Debian 8.2.0 Kernel 3.16.0-4-amd64

Что ему не нравится? Хелп ми плиз :) Спасибо!

root@pc0:/home/username# hdparm -I /dev/sdb

/dev/sdb:

ATA device, with non-removable media
	Model Number:       WDC WD15EARS-00Z5B1                     
	Serial Number:      WD-WCAVU0524519
	Firmware Revision:  80.00A80
	Transport:          Serial, SATA 1.0a, SATA II Extensions, SATA Rev 2.5, SATA Rev 2.6
Standards:
	Supported: 8 7 6 5 
	Likely used: 8
Configuration:
	Logical		max	current
	cylinders	16383	16383
	heads		16	16
	sectors/track	63	63
	--
	CHS current addressable sectors:   16514064
	LBA    user addressable sectors:  268435455
	LBA48  user addressable sectors: 2930275055
	Logical/Physical Sector size:           512 bytes
	device size with M = 1024*1024:     1430798 MBytes
	device size with M = 1000*1000:     1500300 MBytes (1500 GB)
	cache/buffer size  = unknown
Capabilities:
	LBA, IORDY(can be disabled)
	Queue depth: 32
	Standby timer values: spec'd by Standard, with device specific minimum
	R/W multiple sector transfer: Max = 16	Current = 16
	Recommended acoustic management value: 128, current value: 128
	DMA: mdma0 mdma1 mdma2 udma0 udma1 udma2 udma3 udma4 udma5 *udma6 
	     Cycle time: min=120ns recommended=120ns
	PIO: pio0 pio1 pio2 pio3 pio4 
	     Cycle time: no flow control=120ns  IORDY flow control=120ns
Commands/features:
	Enabled	Supported:
	   *	SMART feature set
	    	Security Mode feature set
	   *	Power Management feature set
	    	Write cache
	   *	Look-ahead
	   *	Host Protected Area feature set
	   *	WRITE_BUFFER command
	   *	READ_BUFFER command
	   *	NOP cmd
	   *	DOWNLOAD_MICROCODE
	    	Power-Up In Standby feature set
	   *	SET_FEATURES required to spinup after power up
	    	SET_MAX security extension
	   *	Automatic Acoustic Management feature set
	   *	48-bit Address feature set
	   *	Device Configuration Overlay feature set
	   *	Mandatory FLUSH_CACHE
	   *	FLUSH_CACHE_EXT
	   *	SMART error logging
	   *	SMART self-test
	   *	General Purpose Logging feature set
	   *	64-bit World wide name
	   *	{READ,WRITE}_DMA_EXT_GPL commands
	   *	Segmented DOWNLOAD_MICROCODE
	   *	Gen1 signaling speed (1.5Gb/s)
	   *	Gen2 signaling speed (3.0Gb/s)
	   *	Native Command Queueing (NCQ)
	   *	Host-initiated interface power management
	   *	Phy event counters
	   *	NCQ priority information
	   *	DMA Setup Auto-Activate optimization
	   *	Software settings preservation
	   *	SMART Command Transport (SCT) feature set
	   *	SCT Features Control (AC4)
	   *	SCT Data Tables (AC5)
	    	unknown 206[12] (vendor specific)
	    	unknown 206[13] (vendor specific)
Security: 
	Master password revision code = 65534
		supported
	not	enabled
	not	locked
		frozen
	not	expired: security count
		supported: enhanced erase
	342min for SECURITY ERASE UNIT. 342min for ENHANCED SECURITY ERASE UNIT. 
Logical Unit WWN Device Identifier: 50014ee60020b94b
	NAA		: 5
	IEEE OUI	: 0014ee
	Unique ID	: 60020b94b
Checksum: correct

Добавление № 1.

Обнаружил более 192 000 парковок головок за общее время юзания диска 2 года и 24 дня и ужаснулся. Утсановил с помощью WDIDLE3.EXE версии 1.05 таймер на 300 секунд ( параметр /S300), проверил, отключил таймер параметром /D. Проверил ( /R ). Утилита сказала, что всё тип-топ, таймер отключен. Захожу в ХР, проверяю прогой Speccy S.M.A.R.T., параметр 193 (0xC1) показывает 192 079 в 21:26. Проверяю через 5 минут: 192 081 в 21:32. Что за...... Вот это подарочек от WD.

Не покупайте никогда харды этой фирмы.

Пошёл искать новую прошивку...

Сайт http://support.wdc.com/ на пинг не откликается, браузером не открывается. Все ушли в запой?... Вот вам и Вестерн Диджитал!

Если пинговать support.wdc.com с ping.eu, то пинг есть! Американцы забанили Россию? Что за хрень происходит?

Ещё раз всех с Новым Годом!

 , , , ,

n4wyn55 ()

настроить поведение кластера.

Настроены ресурсы на двух нодах.
Дано:
node1 с двумя ресурсами: vip1 и apache
node2 с одним ресурсом: vip2
выключаю node1, его ресурсы прыгают на node2. Все ок
после включения node1, ресурс vip2 прыгает на node1
Нужно сделать так, что бы после включения ноды, ресурсы оставались на месте и ждали пока его величество админ не сделает все сам.
В какую сторону копать?
Какой утилиткой или каким параметром это настраивается?
Спасибо.

 , ,

dada ()

vip автоматом не прыгает между нодами.

Салам всем.
Коллеги, настроил pacemaker и добавил ресурс.
Хочу автоматическое поднятие виртуального ip на второй ноде при отключении сетевого интерфейса на первой ноде.
В документации и во всяких доках не описано никаких доп.телодвижений кроме самого добавления ресурса.
Может кто поможет, я наверняка что-то упускаю.

[root@clusternode1 ~]# pcs cluster status
Cluster Status:
 Last updated: Thu Dec 17 11:42:26 2015
 Last change: Thu Dec 17 09:38:07 2015
 Stack: corosync
 Current DC: clusternode1.moidomen.az (1) - partition with quorum
 Version: 1.1.12-a14efad
 2 Nodes configured
 1 Resources configured

PCSD Status:
  clusternode1.moidomen.az: Online
  clusternode2.moidomen.az: Online
[root@clusternode1 ~]# pcs resource show
 Clus_IP        (ocf::heartbeat:IPaddr):        Started
[root@clusternode1 ~]# pcs status|grep Clus_IP
 Clus_IP        (ocf::heartbeat:IPaddr):        Started clusternode2.moidomen.az

 , ,

dada ()

HA кластер - как сейчас с софтом?

В близкой перспективе понадобится поднять небольшой кластер (3 ноды, причем скорее всего одна будет чисто кворумной), на который нужно будет упихать кучку серисов (MySQL/PostgreSQL БД, веб, радиус и т.п., + скорее всего минимум одна VM с виндой).

Нагрузка планируется не особо большая. SAN/NAS хранилище не планируется.

Важна отказоустойчивость - при внезапном падении одной ноды поднимать ресурсы на второй; при отключении всего кластера/свича, через который все скоммутировано, после запуска все должно взлететь без лишних телодвижений; если умерла нода на которой крутился какой-то ресурс (или выдернулся патч-корд) - синхронизация должна проходить максимально просто и прозрачно. Время фэйловера особой роли не играет (несколько минут простоя не критично).

Весьма желательно простое добавление виртуалок/контейнеров.

Собссно вопрос: стоит ли смотреть на что-то типа openstack/proxmox, или готовиться сразу выпиливать лобзиком нужное в pacemaker?

 , , ,

NiTr0 ()

workflow manager

Нагуглить не получается. Простая вроде бы вещь.

Что-то типа workflow manager'а, работающего на кластере.

Должен на входе получать граф с задачками и запускать их на отдельных нодах.

Отказоустойчиво: если задача по своим внутренним причинам упала, должна быть возможность пнуть ее еще раз. Если упала нода, manager должен сам перезапустить на соседней. Ну и естественно устойчивость к спонтанной перезагрузке всего кластера.

Нужен web интерфейс, откуда можно смотреть (глазами) за задачами и, в случае чего, пинать перезапуск.

Нужен API для создания/удаления задач и мониторинга их статусов.

Плюшки вроде наличия блокировок, владения ресурсами и т.д приветствуются, но не обязательны.

 ,

ival ()

Создание кластера VOIP (WebRTC + SIP)

Приветсвую коллеги!

Стоит задачка спроектировать кластер для VOIP с обязательной поддержкой WebRTC стабильно работающим с клиентами за NAT.

На сколько я знаю вариант с LVS отпадает (теоретически вроде есть модули для SIP но как-то стремно). Хотя WebRTC это http...

Поэтому вырисовывается Kamailio + FreeSwitch. FreeSwitch проверил, он полностью поддерживает WebRTC. У Kamailio с этим есть проблема хотя вроде как должно все работать но покак не очень-то получилось. На сколько я понял даже в этой идеальной связке есть еще одно не стандартное решение... это необходимость загнать конфиги FreeSwitch в базу (базу(схему) FreeSwitch должен создать автоматом), а вот как менять эти конфиги не совсем понятно, неужели только через ручные SQL запросы и т.п. ?

Может кто-то занимался или занимается подобными вопросами и сможет подкинуть идею как лучше это реализовать?

Можно ли WebSocket балансировать через HAProxy например?

С уважением, Евгений.

P.S. Kazoo пробовал, с ipv6 проблему решил его полным отключением на сервере и клиентах (что уже не красиво), но вылезли другие проблемы.

 , , ,

merlin-shadow ()