Оператор кубернетеса для медиасервера: управлять каждым инстансом или всем кластером?

Мне нравится подход fluent-operator: есть разные CRD для настройки разных логически изолированных элементов конфигурации и есть оператор, который из всего этого склеивает настоящий конфиг и приглядывает за реальными кубернетесовскими объектами.

P.S. Ну и доступы уж точно не должны быть частью CRD. Для доступов есть секреты, на которых в CRD нужно ссылаться.

да, доступы конечно в секретах.

Вопрос в том, что если я делаю один единый ресурс на все экземпляры медиасервера в кластере на 100 нод, то что получается:

..
spec:
  derParol:
    valueFrom:
      secretKeyRef:
        name: password-storage
        key: common_password

и получается, что на всех единый пароль. Или тут тоже городить 100 одинаковых записей?

Я использую helm, там можно сильно упростить себе жизнь

param: {{ $value.secretKeyRef | default $.Values.defaultSecretKeyRef }}

Тогда задаёшь одно значение по умолчанию и в узлах переопределяешь, если нужно.

P.S. Впрочем, с оператором можно и так:

1. CRD NodeConfig

2. CRD DefaultNodeConfig

после чего снова общекластерные параметры определяешь один раз, специфичные для узла — по потребности.

Если я правильно понимаю, по сути ты рекомендуешь так и делать: один CRD на ноду и если припрет, ещё один для объединения их всех вместе или хельмом генерировать - на выбор.

Предполагая, что у вас есть одно окружение, состоящиее из многих узлов, я бы так и сделал:

1. CRD для окружения

kind: Environment
metadata:
  labels:
    env-name: my-env
spec:
  default-node-values:
…

2. CRD для узла

kind: Node
metadata:
  labels:
    env-name: my-env

через labels узлы и окружение связаны, как, например, связывают deployment и pod. Данные берутся из default-node-values и при нужде переопределяются.

Я бы подумал о том, чтобы добавить в софт автодетект наличие видеокарты, размера диска и т. д. Тогда конфиг можно будет сделать более однородным.

Или, например, сделать конфиг с белым/чёрным списком видеокарт (хоть по моделям, хоть вообще по серийникам), которые надо использовать, заданием объёма диска который можно использовать в процентах, а не абсолютных единицах (или настраивать сколько должно остаться свободно, а не сколько можно занять) и т. д. Тогда можно будет тоже уменьшить разнообразие конфигов, но сохранить некоторую гибкость.

Иными словами, как часто вам нужно игнорировать видеокарту при её наличии, занимать малую долю огромного диска и т. д.? Со стороны кажется, что это редкие экзотические случаи и их можно избегать.

Мне больше нравится вариант с отдельными CR под каждую ноду - проще управлять, проще реконсайлить в контроллер-менеджере, более понятное логическое разделение ресурсов