LINUX.ORG.RU

RADOS timed out (error connecting to the cluster)

 


0

1

Лорчик, привет. Помоги советом, пожалуйста.

В общем, в процессе изучения, решил отключить авторизацию клиентов и вообще компонентов цефа с помощью cephX

отключал не каноническим образом, описанным в мануале. Подумав, возможно не правильно, я решил, что /etc/ceph/ceph.conf это почти то же самое, что и параметры, который в БД мониторов хранятся. Кароч, решил в БД мониторов их и поменять

ceph config set global auth_cluster_required none
ceph config set global auth_service_required none
ceph config set global auth_client_required none

Рестарт кластера иииииииииии

root@ceph1:/etc/ceph# ceph -s
2024-02-21T07:44:00.109+0000 7fba7b7fe700 -1 monclient(hunting): handle_auth_bad_method server allowed_methods [1] but i only support [1]
[errno 13] RADOS permission denied (error connecting to the cluster)

в логе монитоов вот такое

Feb 21 07:44:21 ceph1 bash[62037]: debug 2024-02-21T07:44:21.277+0000 7fdcadac0700 -1 mon.ceph1@0(probing) e3 handle_auth_request no AuthAuthorizeHandler found for auth method 2
Feb 21 07:44:21 ceph1 bash[62037]: debug 2024-02-21T07:44:21.289+0000 7fdca82b5700 -1 mon.ceph1@0(probing) e3 handle_auth_bad_method hmm, they didn't like 2 result (95) Operation not supported

Пробовал в /etc/ceph/ceph.conf выставить обратно

auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx

Вообще просто висит тогда

root@ceph1:/etc/ceph# ceph config
2024-02-21T07:30:27.308+0000 7f3ee11bf700  0 monclient(hunting): authenticate timed out after 300
[errno 110] RADOS timed out (error connecting to the cluster)

Полагаю, что я как то по красоте не верные настройки ввёл в БД мониторов.

Собственно вопрос - как вернуть всё взад? Проблема в гуголе встречается, но там хотя бы хостовые утилиты могут коннектиться к кластеру, а у меня даж этого не могут сделать.

Всем блуждающих квантов альфа-самцовства для становления чедами.

★★

Последнее исправление: SpaceRanger (всего исправлений: 1)

Ответ на: комментарий от no-dashi-v2

Если с хоста делаю

root@ceph1:~# ceph -s
2024-02-21T17:38:00.350+0000 7f34f1ec3700 -1 monclient(hunting): handle_auth_bad_method server allowed_methods [2] but i only support [1]
2024-02-21T17:38:00.350+0000 7f34f2ec5700  0 librados: client.admin authentication error (13) Permission denied
[errno 13] RADOS permission denied (error connecting to the cluster)

Монитор как бужто бы и не замечает, что что-то произошло.

root@ceph1:/home/mgr# journalctl -fu ceph-814df136-d0d9-11ee-9795-311afd9ab69a@mon.ceph1.service
-- Logs begin at Wed 2024-02-14 14:08:24 UTC. --
Feb 21 17:39:33 ceph1 bash[77535]: cluster 2024-02-21T17:39:31.963379+0000 mgr.ceph1.efhymw (mgr.64099) 66 : cluster 0 pgmap v64: 1 pgs: 1 undersized+peered; 0 B data, 84 MiB used, 1.3 TiB / 1.3 TiB avail
Feb 21 17:39:35 ceph1 bash[77535]: cluster 2024-02-21T17:39:33.963733+0000 mgr.ceph1.efhymw (mgr.64099) 67 : cluster 0 pgmap v65: 1 pgs: 1 undersized+peered; 0 B data, 84 MiB used, 1.3 TiB / 1.3 TiB avail
Feb 21 17:39:37 ceph1 bash[77535]: debug 2024-02-21T17:39:37.286+0000 7f85ce6aa700  1 mon.ceph1@0(leader).osd e42 _set_new_cache_sizes cache_size:1020054731 inc_alloc: 348127232 full_alloc: 348127232 kv_alloc: 322961408
Feb 21 17:39:37 ceph1 bash[77535]: cluster 2024-02-21T17:39:35.964159+0000 mgr.ceph1.efhymw (mgr.64099) 68 : cluster 0 pgmap v66: 1 pgs: 1 undersized+peered; 0 B data, 84 MiB used, 1.3 TiB / 1.3 TiB avail
Feb 21 17:39:38 ceph1 bash[77535]: debug 2024-02-21T17:39:38.034+0000 7f85cbea5700  0 mon.ceph1@0(leader) e1 handle_command mon_command({"prefix": "osd blocklist ls", "format": "json"} v 0) v1

но если дернуть из контейнера монитора, то

root@ceph1:/home/mgr# docker exec -it 789c0e24a269 /bin/bash
[root@ceph1 /]# ceph -s
2024-02-21T17:40:08.702+0000 7f50d5b29700 -1 auth: unable to find a keyring on /etc/ceph/ceph.client.admin.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin: (2) No such file or directory
2024-02-21T17:40:08.702+0000 7f50d5b29700 -1 AuthRegistry(0x7f50d0067da0) no keyring found at /etc/ceph/ceph.client.admin.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin, disabling cephx
2024-02-21T17:40:08.702+0000 7f50d5b29700 -1 auth: unable to find a keyring on /etc/ceph/ceph.client.admin.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin: (2) No such file or directory
2024-02-21T17:40:08.702+0000 7f50d5b29700 -1 AuthRegistry(0x7f50d5b27ea0) no keyring found at /etc/ceph/ceph.client.admin.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin, disabling cephx
2024-02-21T17:40:08.702+0000 7f50cf7fe700 -1 monclient(hunting): handle_auth_bad_method server allowed_methods [2] but i only support [1]
2024-02-21T17:40:08.702+0000 7f50d5b29700 -1 monclient: authenticate NOTE: no keyring found; disabled cephx authentication
[errno 13] RADOS permission denied (error connecting to the cluster)

Я как бы могу читать и понимаю что монитор не находит файла ceph.client.admin.keyring. Но

  1. почему он его ищет, если я вроде как аутентификацию отключаю?

  2. где он его ищет, если на хосте этот файл вполне себе лежит в /etc/ceph ?

  3. Почему параметры auth_cluster|service|client_required, выставленные через ceph config set global оказывают такое разрушительное воздействие? Но в то же время , выставленные в /etc/ceph/ceph.conf на хосте, не оказывают вообще никакого эффекта?

  4. Как вернуть всё взад?

SpaceRanger ★★
() автор топика
Последнее исправление: SpaceRanger (всего исправлений: 1)