LINUX.ORG.RU

3
Всего сообщений: 55

Сравнение ПО построения кластера

Если я не ошибаюсь, сейчас в тренде 2 (?) подхода построения linux кластеров: pacemaker apache mesos openstack kubernetes (and OpenShift)

В чём их различие, какие у них use-cases?

Mesos унифицирует железные ресурсы кластера. Задачи - контейнеры с обязательным указанеием лимита ресурсов - запускаются на любом сервере в кластере по усмотрению mesos. (?)

Kubernetes и его форк OpenShift - нужны для service discovery и восстановления упавших сервисов (?).

Предлагаю обсудить сабж, - очень интересен опыт людей реально использующих данные решения в production.

 

qwerty93 ()

from openMP to MPI

пытаюсь перейти на MPI с openMP... чтобы использовать на кластере...
читаю о этом MPI и ничего не понимаю...
может кто посоветует где почитать в доступтой форме!
все что гуглил, не осилил...
есть вот такое:

#include <omp.h>
...
int main() {

LaserChar *laserChar = new LaserChar;

readFile(*laserChar);

#pragma omp parallel for collapse(2)
    for (size_t i=0; i<laserChar->V1.size(); ++i) {       
        for (size_t j=0; j<laserChar->V2.size(); ++j) {
                Design *des=new Design;
                des->value=laserChar->parameters[i][j];
                some_function(*des);
                laserChar->value[i][j]=des->results;
                delete des;
}}

writeFile(*laserChar);
delete laserChar;
return 0;
}

как его переписать в MPI? или что я делаю не так (желательно не в грубой форме)?
p.s. этот говнокод работает, а это главное.

 , , , ,

rgB ()

proxmox cluster, две ноды в дц: помогите с мультикастом

Приветствую! Задача - объединить две ноды, физики в одном дц, в одной подсети (белые соседние адреса, шлюз один) в кластер.

Проблема - нет кворума. Подозреваю - непроходит мультикаст. Расскажите пожалуйста, что это такое, как его проверить перед попытками создать кластер. Чтение мало проясняет пока.

Альтернативный вариант - openvpn, и внутренняя сеть. Но очень бы не хотелось в силу многих причин..

Проксмокс 3.4, pveupgrade сделан с репо no-subscribtions

 , , ,

whoim ()

Proxmox cluster: storage

В раздумиях над тем, какой сторедж выбрать для небольшого кластера (3 ноды) на proxmox. DRBD не особо хочется, sheepdog - не уверен что пригоден к использованию в продакшне. GlusterFS - не радует тем, что юзерспейс + судя по вики - в proxmox поддержка запилена как proof of concept. Больше склоняюсь к Ceph.

В принципе - от стореджа нужно в первую очередь минимум гемора при восстановлении в нештатных ситуевинах и нормальное резервирование, и во вторую очередь уже скорость (БД будет держаться не в виртуалках, а на самих нодах).

Кто что подсоветует?

 ,

NiTr0 ()

Отказоустойчивость на Amazon EC2

Приветствую, уважаемое комюнити!

Прошу подсказать, как лучше организвать отказоустойчивый кластер при помощи EC2 сервисов.

Необходимо построить отказоустойчивые кластера для почты(Postfix+Dovecot) и для FTP.

Для постфикса читал, что необходимо делать с помощью днс приоритета серверов, но для меня важно чтобы мои пользователи в настройках почтовиков, в случае падения первого сервера, ничего не меняли. Как это лучше сделать?

Относительно Dovecot - читал что можно использовать dsync. Но опять таки - пользователи.

Для FTP думаю использовать или drbd или GlusterFS.

Какие сервисы Амазона лучше использовать, чтобы минимизировать работу для пользователей.

У кого есть опыт построения подобных кластеров, буду признателен совету.

 , , , ,

kbu ()

Кластер на proxmox

С Новым годом, дорогие друзья !!! вОТ ВОПРОС. Есть два сервера A и B У сервера A есть 8 винтов по 1ТБ, у сервера B только 2 винта по 750ГБ.На обоих серваках стоит proxmox на RAID 1 без LVM. Надо создать кластер с помощью DRBD. Можно ли создать кластер на этих двух серваках, если у них разный объем ??? И можно ли не использовать дополнительный раздел для storage-a, должен он ли быть ?? Кластер будет в тестовом режиме, в продакшн не пойдет, просто тест.

 , ,

darknet ()

«Подарок» от Western Digital

Всем привет и всех с Новым Годом!

А теперь о теме.

Вестерн Диджитал принесли мне «подарочек» под Новый Год :)

Обнаружил, что многочисленные программки в линуксе рапортуют мне о размере кластера (физический размер блока) с размером не в 4096 байт, а в 512 байт! Диск - WD Green 1.5TB. Всем ясно, что фишку «Advanced Format» придумали не просто так, а именно из-за того, что размер кластера на новых винтах отличен от ранее принятого стандарта в 512 Байт на физический кластер. Я думал, что софт сырой. Пробовал разные софтины. Нашёл подтверждение в интернете, что софт не сырой, что я всё делал правильно. А проблема в..... жёстком диске!

Нашёл топик на этом форуме, он уже заархивирован, поэтому отвечать туда не могу.

www.linux.org.ru/forum/desktop/5652190

В этом топике Товарищ Relan пишет:

Кстати, у первых хардов WD с 4К сектором был баг — они рапортовали размер сектора 512 байт, ну и софт вел себя соответствующе. В вашей тошибе нет такой проблемы?

У меня как раз тот винт был куплен довольно рано (недолго после их появления). Блин... что теперь делать таким горе-юзерам, поимевшим счастье купить глючный винт супер-мега-крутой корпорации Вестерн Дигитал?

Его можно как-то починить, чтобы он сообщал правильный размер физического кластера? Может есть новые прошивки для него? По идее, это прошивкой должно лечиться.

Если починить нельзя, то скажите, как правильно отформатить его в линуксе и создать ФС типа ext4.

Пробовал через: mkfs.ext4 -b 4096 -C 4096 -t ext4 /dev/sdb1

но утилита ругеается, пишет что нужен bigalloc: mkfs.ext4: specifying a cluster size requires the bigalloc feature

OS Debian 8.2.0 Kernel 3.16.0-4-amd64

Что ему не нравится? Хелп ми плиз :) Спасибо!

root@pc0:/home/username# hdparm -I /dev/sdb

/dev/sdb:

ATA device, with non-removable media
	Model Number:       WDC WD15EARS-00Z5B1                     
	Serial Number:      WD-WCAVU0524519
	Firmware Revision:  80.00A80
	Transport:          Serial, SATA 1.0a, SATA II Extensions, SATA Rev 2.5, SATA Rev 2.6
Standards:
	Supported: 8 7 6 5 
	Likely used: 8
Configuration:
	Logical		max	current
	cylinders	16383	16383
	heads		16	16
	sectors/track	63	63
	--
	CHS current addressable sectors:   16514064
	LBA    user addressable sectors:  268435455
	LBA48  user addressable sectors: 2930275055
	Logical/Physical Sector size:           512 bytes
	device size with M = 1024*1024:     1430798 MBytes
	device size with M = 1000*1000:     1500300 MBytes (1500 GB)
	cache/buffer size  = unknown
Capabilities:
	LBA, IORDY(can be disabled)
	Queue depth: 32
	Standby timer values: spec'd by Standard, with device specific minimum
	R/W multiple sector transfer: Max = 16	Current = 16
	Recommended acoustic management value: 128, current value: 128
	DMA: mdma0 mdma1 mdma2 udma0 udma1 udma2 udma3 udma4 udma5 *udma6 
	     Cycle time: min=120ns recommended=120ns
	PIO: pio0 pio1 pio2 pio3 pio4 
	     Cycle time: no flow control=120ns  IORDY flow control=120ns
Commands/features:
	Enabled	Supported:
	   *	SMART feature set
	    	Security Mode feature set
	   *	Power Management feature set
	    	Write cache
	   *	Look-ahead
	   *	Host Protected Area feature set
	   *	WRITE_BUFFER command
	   *	READ_BUFFER command
	   *	NOP cmd
	   *	DOWNLOAD_MICROCODE
	    	Power-Up In Standby feature set
	   *	SET_FEATURES required to spinup after power up
	    	SET_MAX security extension
	   *	Automatic Acoustic Management feature set
	   *	48-bit Address feature set
	   *	Device Configuration Overlay feature set
	   *	Mandatory FLUSH_CACHE
	   *	FLUSH_CACHE_EXT
	   *	SMART error logging
	   *	SMART self-test
	   *	General Purpose Logging feature set
	   *	64-bit World wide name
	   *	{READ,WRITE}_DMA_EXT_GPL commands
	   *	Segmented DOWNLOAD_MICROCODE
	   *	Gen1 signaling speed (1.5Gb/s)
	   *	Gen2 signaling speed (3.0Gb/s)
	   *	Native Command Queueing (NCQ)
	   *	Host-initiated interface power management
	   *	Phy event counters
	   *	NCQ priority information
	   *	DMA Setup Auto-Activate optimization
	   *	Software settings preservation
	   *	SMART Command Transport (SCT) feature set
	   *	SCT Features Control (AC4)
	   *	SCT Data Tables (AC5)
	    	unknown 206[12] (vendor specific)
	    	unknown 206[13] (vendor specific)
Security: 
	Master password revision code = 65534
		supported
	not	enabled
	not	locked
		frozen
	not	expired: security count
		supported: enhanced erase
	342min for SECURITY ERASE UNIT. 342min for ENHANCED SECURITY ERASE UNIT. 
Logical Unit WWN Device Identifier: 50014ee60020b94b
	NAA		: 5
	IEEE OUI	: 0014ee
	Unique ID	: 60020b94b
Checksum: correct

Добавление № 1.

Обнаружил более 192 000 парковок головок за общее время юзания диска 2 года и 24 дня и ужаснулся. Утсановил с помощью WDIDLE3.EXE версии 1.05 таймер на 300 секунд ( параметр /S300), проверил, отключил таймер параметром /D. Проверил ( /R ). Утилита сказала, что всё тип-топ, таймер отключен. Захожу в ХР, проверяю прогой Speccy S.M.A.R.T., параметр 193 (0xC1) показывает 192 079 в 21:26. Проверяю через 5 минут: 192 081 в 21:32. Что за...... Вот это подарочек от WD.

Не покупайте никогда харды этой фирмы.

Пошёл искать новую прошивку...

Сайт http://support.wdc.com/ на пинг не откликается, браузером не открывается. Все ушли в запой?... Вот вам и Вестерн Диджитал!

Если пинговать support.wdc.com с ping.eu, то пинг есть! Американцы забанили Россию? Что за хрень происходит?

Ещё раз всех с Новым Годом!

 , , , ,

n4wyn55 ()

настроить поведение кластера.

Настроены ресурсы на двух нодах.
Дано:
node1 с двумя ресурсами: vip1 и apache
node2 с одним ресурсом: vip2
выключаю node1, его ресурсы прыгают на node2. Все ок
после включения node1, ресурс vip2 прыгает на node1
Нужно сделать так, что бы после включения ноды, ресурсы оставались на месте и ждали пока его величество админ не сделает все сам.
В какую сторону копать?
Какой утилиткой или каким параметром это настраивается?
Спасибо.

 , ,

dada ()

vip автоматом не прыгает между нодами.

Салам всем.
Коллеги, настроил pacemaker и добавил ресурс.
Хочу автоматическое поднятие виртуального ip на второй ноде при отключении сетевого интерфейса на первой ноде.
В документации и во всяких доках не описано никаких доп.телодвижений кроме самого добавления ресурса.
Может кто поможет, я наверняка что-то упускаю.

[root@clusternode1 ~]# pcs cluster status
Cluster Status:
 Last updated: Thu Dec 17 11:42:26 2015
 Last change: Thu Dec 17 09:38:07 2015
 Stack: corosync
 Current DC: clusternode1.moidomen.az (1) - partition with quorum
 Version: 1.1.12-a14efad
 2 Nodes configured
 1 Resources configured

PCSD Status:
  clusternode1.moidomen.az: Online
  clusternode2.moidomen.az: Online
[root@clusternode1 ~]# pcs resource show
 Clus_IP        (ocf::heartbeat:IPaddr):        Started
[root@clusternode1 ~]# pcs status|grep Clus_IP
 Clus_IP        (ocf::heartbeat:IPaddr):        Started clusternode2.moidomen.az

 , ,

dada ()

HA кластер - как сейчас с софтом?

В близкой перспективе понадобится поднять небольшой кластер (3 ноды, причем скорее всего одна будет чисто кворумной), на который нужно будет упихать кучку серисов (MySQL/PostgreSQL БД, веб, радиус и т.п., + скорее всего минимум одна VM с виндой).

Нагрузка планируется не особо большая. SAN/NAS хранилище не планируется.

Важна отказоустойчивость - при внезапном падении одной ноды поднимать ресурсы на второй; при отключении всего кластера/свича, через который все скоммутировано, после запуска все должно взлететь без лишних телодвижений; если умерла нода на которой крутился какой-то ресурс (или выдернулся патч-корд) - синхронизация должна проходить максимально просто и прозрачно. Время фэйловера особой роли не играет (несколько минут простоя не критично).

Весьма желательно простое добавление виртуалок/контейнеров.

Собссно вопрос: стоит ли смотреть на что-то типа openstack/proxmox, или готовиться сразу выпиливать лобзиком нужное в pacemaker?

 , , ,

NiTr0 ()

workflow manager

Нагуглить не получается. Простая вроде бы вещь.

Что-то типа workflow manager'а, работающего на кластере.

Должен на входе получать граф с задачками и запускать их на отдельных нодах.

Отказоустойчиво: если задача по своим внутренним причинам упала, должна быть возможность пнуть ее еще раз. Если упала нода, manager должен сам перезапустить на соседней. Ну и естественно устойчивость к спонтанной перезагрузке всего кластера.

Нужен web интерфейс, откуда можно смотреть (глазами) за задачами и, в случае чего, пинать перезапуск.

Нужен API для создания/удаления задач и мониторинга их статусов.

Плюшки вроде наличия блокировок, владения ресурсами и т.д приветствуются, но не обязательны.

 ,

ival ()

Создание кластера VOIP (WebRTC + SIP)

Приветсвую коллеги!

Стоит задачка спроектировать кластер для VOIP с обязательной поддержкой WebRTC стабильно работающим с клиентами за NAT.

На сколько я знаю вариант с LVS отпадает (теоретически вроде есть модули для SIP но как-то стремно). Хотя WebRTC это http...

Поэтому вырисовывается Kamailio + FreeSwitch. FreeSwitch проверил, он полностью поддерживает WebRTC. У Kamailio с этим есть проблема хотя вроде как должно все работать но покак не очень-то получилось. На сколько я понял даже в этой идеальной связке есть еще одно не стандартное решение... это необходимость загнать конфиги FreeSwitch в базу (базу(схему) FreeSwitch должен создать автоматом), а вот как менять эти конфиги не совсем понятно, неужели только через ручные SQL запросы и т.п. ?

Может кто-то занимался или занимается подобными вопросами и сможет подкинуть идею как лучше это реализовать?

Можно ли WebSocket балансировать через HAProxy например?

С уважением, Евгений.

P.S. Kazoo пробовал, с ipv6 проблему решил его полным отключением на сервере и клиентах (что уже не красиво), но вылезли другие проблемы.

 , , ,

merlin-shadow ()

smbd+ctdb+drbd+(ocfs2||gfs2)

Возникла необходимость собрать HA кластер на базе ${SUBJ}
какую фс выбрать?
nfs не рассматриваю, т.к quorum не планирую.
CTDB_RECOVERY_LOCK предполагаю хранить на кластерной фс. Слышал у OCFS2 с блокировками дело туго. FAKE?

 , ,

Dob ()

Corosync+Pacemaker

Всем привет!

Настраиваю связку Corosync+Pacemaker по ману

http://ninjix.blogspot.de/2011/01/highly-available-zabbix-monitoring.html


Ноды запускаются и работают:


Online: [ dus-zabbixdb-1 dus-zabbixdb-2 ]

Resource Group: zabbix_group
fs_mysql (ocf::heartbeat:Filesystem): Started dus-zabbixdb-1
ip_mysql (ocf::heartbeat:IPaddr2): Started dus-zabbixdb-1
mysqld (lsb:mysql): Started dus-zabbixdb-1
Master/Slave Set: ms_drbd_mysql [drbd_mysql]
Masters: [ dus-zabbixdb-1 ]
Slaves: [ dus-zabbixdb-2 ]
apache (lsb:apache2): Started dus-zabbixdb-2
zabbix (lsb:zabbix-server): Started dus-zabbixdb-2



Меня смущает то, что mysql запускается на первой ноде, а apache и zabbix запускаются на второй ноде. Если остановить вторую ноду, то все берет на себя первая нода, но как только включаешь вторую, apache и zabbix убегают туда. Почему так происходит. Да всех сервисов выделен один адрес 192.168.5.250, таким образом только mysql бывает доступен. Если же выключить вторую ноду, тогда подхватывается apache и zabbix.
Подскажите пожалуйста как поправить.

За ранее спасибо!

 , , , ,

kbu ()

Распределённая фс для бекапов?

Бонжорно

Нужна помощь коллективного разума.

Какая существует относительно простая фс для примерного такого кейса:

  • распределённость
  • снапшоты/за неимением их - высокоуровневая фича вроде rsync
  • не труп, наличие пакетов/ебилдов
  • вменяемый failover

На кластер нужно будет лить множество мелких бекапов файлов и дампы бд, также по мере необходимости забирать их.

 , ,

invokercd ()

Недостатки бездисковой загрузки

Бездисковая загрузка имеет ряд преимуществ. Например, если уже имеются какие-то хранилища, то хотелось бы сэкономить на hdd и raid в новых серверах, они (диски) довольно дорого стоят. Под хранилищами подразумевается всё то, что можно выбрать в установщике CentOS. Или загрузку с помощью PXE нескольких узлов на мастер.

Как сделать так, чтобы экономия на непокупке дисков была выгодна по сравнению с покупкой коммутаторов и прочего сетевого оборудования?

Варианты использования - распределенные вычисления и анализ данных. Т.е. использование вычислительных узлов (различных по своему железу) для увеличения вычислительных возможностей.

По вашему опыту, какие подводные камни бездисковой загрузки? С экономической и других сторон. Почему бы вы не рекомендовали такую загрузку, а рекомендовали бы всё-таки использовать диски и raid.

Вопрос только теоретический, хотелось бы понять, почему IRL делают так, а не иначе.

 , , , ,

early_britney_fun ()

Создание отказоустойчивой системы на cluster'e

Всем добрый вечер!

Столкнулся со следующей проблемой: дали задачу построить кластерную отказоустойчивую систему, на базе кластера. Есть 2 компа:

  • node1 (192.168.0.101)
  • node2 (192.168.0.102)

Нужно как-то сделать виртуальный ip-адресс, например 192.168.0.100, на который будет настроено приложение. В мастер-компом будет node1, вспомогательным - node2. В случае когда node1 будет не доступен, то автоматически должна выполнится маршрутизация на node2.

Уважаемые форумчане и огромные специалисты, прошу помощи в этом деле, т.к. не совсем понимаю откуда может взяться этот виртуальный ip=192.168.0.100. Все рекомендуют использовать corosync и Pacemaker, но как это сделать не понимаю

Дали виртуалку посмотреть как пример, но куда смотреть тоже не понятно. Помогите кто может и чем может..огромное всем спасибо

 , , ,

userman ()

crmsh в gentoo

А кто-нибудь успешно юзает сабж? Были ли грабли с тем, что кодят crmsh с оглядкой на suse?

 ,

macumazan ()

Автостартовать кластер на ноде после её перезагрузки

Есть какой то цивилизованный способ провернуть это, или надо как то вручную мутить сабж?

 ,

pon4ik ()

HA сервер «для бедных»

Возникла необходимость настроить HA сервер «для бедных» на основе drbd. Cтоит ли в качестве блочного устройства для drbd использовать soft raid? Смущает ненулевая вероятность гашения одной из нод через нештатное выключение питания.

 ,

EM ()