LINUX.ORG.RU
Форум — Admin  

Ceph в статусе OK, но появился флаг «nearfull». И как правильно исключать ноду из кластера.

 , ,


0

2

Добрый день! Недавно в сефе по причине вывода одной из нод, после его перестроения начали заполняться с выше 85% 5 OSD. С нодой все необходимые работы провели, вернули ее в кластер, но уже с вычищенными дисками под OSD (отказываемся от RAID: с HP переключаем на HBA, с Huawei на JBOD без кэша записи). Массив «размазал» данные по вновь введенному серверу. Но остался флаг «nearfull», ceph osd unset такого флага не знает и убрать его не удается. Стоит ли на него вообще обращать внимание? И нужно ли с этим что-нибудь делать? Есть ли какое-нибудь влияние от этого флага?

health HEALTH_OK
 monmap e6: 3 mons at {mon1=10.10.10.2:6789/0,mon2=10.10.10.3:6789/0,mon3=10.10.10.4:6789/0}
        election epoch 14298, quorum 0,1,2 mon1,mon2,mon3
 osdmap e212153: 138 osds: 138 up, 138 in
         flags nearfull
  pgmap v72003723: 6656 pgs, 4 pools, 25984 GB data, 7231 kobjects
        78180 GB used, 44126 GB / 119 TB avail
            6656 active+clean
client io 1188 kB/s rd, 15303 kB/s wr, 764 op/s

Так же хотел еще уточнить как более грамотно выводить для проведение работ ноду из кластера. Подразумевается, что после она будет пустая, данных с OSD на ней больше не будет. Мы используем релиз Hammer, но ноды после переустановки по причине отказа от RAID уже устанавливаем на Jewel, поскольку у нас в планах и обновление до Luminous (с блекджеком и BlueStore). Но вот добавить в действующий массив ноды с Luminous не удается, из-за этого добавляем с Jewel. До сих пор не могу понять из-за чего( Предполагаю, что из-за мониторов на Hammer'e. В общем, к самой сути, Hammer в плане приоритетов восстановления не очень хорош. Из книги LearningCeph (2-е изд.). Вычитал как снизить эти приоритеты и какие именно надо вообще менять. Сделал согласно рекомендациям из книги. Вывожу ноду и все равно пока массив очухивается, что у него больше нет тех OSD, что были на ноде и начинает перестроение, в этот момент начинает проседать I/O, увеличиваются задержки на виртуалках. Не долго и не так сильно, все это занимает буквально 5 минуты с момента отключения сервера. Далее массив уже начинает перестроение и все нормализуется. Но вот эти 5 минут делают много вони (и боли, мне админу, потому что на утро куча писем с заголовками: ко-ко-ко ваш OpenStack говно). Ноду исключаю тупо выключив ее, но думаю может мне сперва лучше проводить процедуру удаления каждой OSD? Чтобы не было просадки по I/O.


nearfull это автоматический флаг. Смотри ceph osd df. Ну и crush проверьте.

Мониторы переведите на jewel. Везде объясняют - сначала мониторы, потом осд.

Nastishka ★★★★★
()

Перед «вывожу ноду» лучше вручную остановить ее осд (через управляющий сокет или сигналом term). При этом пиринг - а у вас проблема в нем - пролетает мгновенно.

Nastishka ★★★★★
()
Ответ на: комментарий от Nastishka

Это может быть связано с тем, что ранее при переполнение некоторых OSD более 85% я запускал «ceph reweight-by-utilization»? В моем понимании сложилось, что параметр reweight представляет собой некий потолок переполнения OSD и может теперь я вижу этот флаг только потому, что по отношению к таким OSD в соответствии значения reweight они заполнены на 85%? Если не затруднит можете глянуть выхлоп ceph osd df?

Насчет мониторов, я знал об этом, но изначально мне показалось, что такой метод обновления является опциональным. Сейчас уже конечно я понял, что заблуждался. Я бы обновили мониторы в первую очередь, если бы не решил вынести их на отдельные физические ноды, поскольку вычитал это в рекомендациях. Я пока жду три сервера под эти мониторы и думал дабы не терять время, обновлять другие ноды. Но теперь буду ждать поставки.

За выключение спасибо, буду через сигнал term останавливать. Позже загляну в скрипт init, посмотрю как он отключает.

amkgi
() автор топика
Ответ на: комментарий от amkgi

В вашем случае вроде всё нормально с osd df, и судя по всему у вас уже приключилось непонимание между мониторами и osd разных версий. Так что вперед к апгрейду, переезд hammer->jewel безальтернативен в вашем случае, поскольку часть осд у вас УЖЕ jewel, потому что на luminous можно заезжать только после нормального заезда на jewel.

Nastishka ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
Admin