LINUX.ORG.RU

hadoop backup master

 , ,


0

2

Всем добрый день. Такой вопрос по поводу бэкапа мастера на хадупе(стоит на centos 7). У меня есть мастер и 2 ноды. На нодах факторы репликации настроены, если падает одна - все переносится на другую. Но как быть с мастером? Если вдруг упадет мастер. Нашел 2 свойства для hdfs-site.xml dfs.namenode.backup.address 0.0.0.0:50100 dfs.namenode.backup.http-address 0.0.0.0:50105 Как их правильно применять? У меня должна быть поднята еще одна ос на центе, на мастере и нодах в hosts должен быть прописан ее ip и вместо нулей выше тоже должен быть адрес этой новой ос?

У меня должна быть поднята еще одна ос на центе, на мастере и нодах в hosts должен быть прописан ее ip и вместо нулей выше тоже должен быть адрес этой новой ос?

Звучит правдоподобно.
Только вангую что прям отдельная машина не нужна, а можно запустить эту приблуду на нодах с процессами датанод.

Судя по доке запускать вот так:

bin/hdfs namenode -backup
https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsUse...

sphericalhorse ★★★★ ()
Последнее исправление: sphericalhorse (всего исправлений: 1)

Но как быть с мастером? Если вдруг упадет мастер.

Вроде как есть еще SecondaryNameNode, и HDFS High Availability (вроде как через Quorum Journal Manager работает).

sphericalhorse ★★★★ ()
Последнее исправление: sphericalhorse (всего исправлений: 2)

Есть несколько вариантов. Холодный бекап - это secondary name node, куда дублируются журналы. Но после падения основной ноды надо будет пройти инициализацию этой секондари ноды, что при больших объемах кластера может занять приличное количество времени.

Если нужен горячий бекап, то выше уже советовали - Quorum Journal Manager или же Conventional Shared Storage. В первом случае вводится сущность журнал ноды, во втором у неймнод ведется общий журнал на общем сетевом диске (устойчивость которого уже надо обеспечивать другими методами).

Подробно здесь: https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HDFSHig...

ПС а в заголовке ты написал неправильно. Это не бекап. Бекап в хадуп кластере - это копия основного кластера.

stave ★★★★★ ()

На нодах факторы репликации настроены, если падает одна - все переносится на другую.

Для справки - не переносится. Оно записывается еще на этапе получения данных в HDFS.

У меня должна быть поднята еще одна ос на центе, на мастере и нодах в hosts должен быть прописан ее ip и вместо нулей выше тоже должен быть адрес этой новой ос?

Ты волнуешься не с той стороны. Если упадет неймнода, то все клиенты снаружи отвалятся, потому что только она знает где какой блок хранится.

stave ★★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.