hadoop backup master

У меня должна быть поднята еще одна ос на центе, на мастере и нодах в hosts должен быть прописан ее ip и вместо нулей выше тоже должен быть адрес этой новой ос?

Звучит правдоподобно.
Только вангую что прям отдельная машина не нужна, а можно запустить эту приблуду на нодах с процессами датанод.

Судя по доке запускать вот так:

bin/hdfs namenode -backup

Но как быть с мастером? Если вдруг упадет мастер.

Вроде как есть еще SecondaryNameNode, и HDFS High Availability (вроде как через Quorum Journal Manager работает).

Есть несколько вариантов. Холодный бекап - это secondary name node, куда дублируются журналы. Но после падения основной ноды надо будет пройти инициализацию этой секондари ноды, что при больших объемах кластера может занять приличное количество времени.

Если нужен горячий бекап, то выше уже советовали - Quorum Journal Manager или же Conventional Shared Storage. В первом случае вводится сущность журнал ноды, во втором у неймнод ведется общий журнал на общем сетевом диске (устойчивость которого уже надо обеспечивать другими методами).

Подробно здесь: https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HDFSHig...

ПС а в заголовке ты написал неправильно. Это не бекап. Бекап в хадуп кластере - это копия основного кластера.

На нодах факторы репликации настроены, если падает одна - все переносится на другую.

Для справки - не переносится. Оно записывается еще на этапе получения данных в HDFS.

У меня должна быть поднята еще одна ос на центе, на мастере и нодах в hosts должен быть прописан ее ip и вместо нулей выше тоже должен быть адрес этой новой ос?

Ты волнуешься не с той стороны. Если упадет неймнода, то все клиенты снаружи отвалятся, потому что только она знает где какой блок хранится.