Исправление Pinkbyte, (текущая версия) :
Сужу по-моему личному опыту(ну и чтению доков, да):
Количество mon лучше выбирать любое нечетное. Чтоб избежать split brain. В твоём случае - либо 1, либо 3. Если 1 - как ты понимаешь, об отказоустойчивости можешь забыть сразу(клиенты общаются с mon - если mon недоступны или нет кворума - клиент будет ждать либо восстановления кворума, либо отвала по таймауту). Поэтому - 3.
mds нужно ставить, только если будешь использовать CephFS. Если тебе она не нужна и тебя устроит чистый RBD(как образы для виртуалок) -> можешь вообще не ставить mds. Если он всё-таки нужен - его не рекомендуют ставить больше 1 в кластер(ибо CephFS еще сырая). У меня в кластере 2 mds - проблем не заметил, но такая конфигурация, как и сама CephFS считается экспериментальной, решай сам - надо ли оно тебе.
По поводу OSD никаких ограничений по количеству в принципе нет. Ну разве что - лучше держать его данные на отдельном разделе(у меня - отдельный LVM-том).
Ну и несмотря на то, что ограничений по размеру тоже нет, желательно точно указывать весовые приоритеты для OSD, в случае, если они будут неравномерными. Например, 1 хост - 100 гигабайт, второй - 50 Гб, третий - 33 Гб. Если предположить, что уровень репликации в кластере равен 3, а весовые приоритеты не настроены, то надо понимать, что первый OSD никогда не удастся забить больше чем на одну треть.
Ах, и да, не стоит допускать заполнения отдельного OSD выше чем на 95% ёмкости. Могут начаться всякие невеселые штуковины. Подробности - в документации.
Исходная версия Pinkbyte, :
Сужу по-моему личному опыту(ну и чтению доков, да):
Количество mon лучше выбирать любое нечетное. Чтоб избежать split brain. В твоём случае - либо 1, либо 3. Если 1 - как ты понимаешь, об отказоустойчивости можешь забыть сразу(клиенты общаются с mon - если mon недоступны или нет кворума - клиент будет ждать либо восстановления кворума, либо отвала по таймауту). Поэтому - 3.
mds нужно ставить, только если будешь использовать CephFS. Если тебе она не нужна и тебя устроит чистый RBD(как образы для виртуалок) -> можешь вообще не ставить mds. Если он всё-таки нужен - его не рекомендуют ставить больше 1 в кластер(ибо CephFS еще сырая). У меня в кластере 2 mds - проблем не заметил, но такая конфигурация, как и сама CephFS считается экспериментальной, решай сам - надо ли оно тебе.
По поводу OSD никаких ограничений по количеству в принципе нет. Ну разве что - лучше держать его на отдельном разделе(у меня - отдельный LVM-том).
Ну и несмотря на то, что ограничений по размеру тоже нет, желательно точно указывать весовые приоритеты для OSD, в случае, если они будут неравномерными. Например, 1 хост - 100 гигабайт, второй - 50 Гб, третий - 33 Гб. Если предположить, что уровень репликации в кластере равен 3, а весовые приоритеты не настроены, то надо понимать, что первый OSD никогда не удастся забить больше чем на одну треть.
Ах, и да, не стоит допускать заполнения отдельного OSD выше чем на 95% ёмкости. Могут начаться всякие невеселые штуковины. Подробности - в документации.