LINUX.ORG.RU

Need help! hdfs hadoop

 , ,


0

1

Добрый день. Недавно начал разбираться с хадупом(3.0.1), стоит на центе7. Поставил, все работает. Но такая проблема: не могу загрузить файлы через сайт(юзер интерфейс), при том если я пытаюсь закинуть файлик в hdfs через кмд центоса - все нормально проходит. В логах после попытки загрузки - ничего не отображается,смотрел через Utilites->logs. Сначала думал что дело в недостаточных правах доступа, ставил hadoop.http.staticuser.user в core-site.xml (на root,hdfs) - не помогло. скрин:

Конфиг hdfs-site.xml

<configuration>

<property> <name>dfs.namenode.name.dir</name> <value>file:///opt/volume/namenode</value> <final>true</final> </property>

<property> <name>dfs.datanode.data.dir</name> <value>file:///opt/volume/datanode</value> <final>true</final> </property>

<property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.permissions.enabled</name> <value>false</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> <property> <name>dfs.support.broken.append</name> <value>true</value> </property>

<property> <name>hadoop.security.authorization</name> <value>false</value> </property>

<property> <name>hadoop.security.instrumentation.requires.admin</name> <value>false</value> </property>

<property> <name>hadoop.security.authentication</name> <value>simple</value> </property>

</configuration>

Конфиг yarn-site.xml

<configuration> <property> <name>yarn.acl.enable</name> <value>false</value> </property>

<property> <name>yarn.resourcemanager.hostname</name> <value>master.hadoop.lan</value> </property>

<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.env-whitelist</name> <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value> </property> </configuration>

Конфиг core-site.xml

<configuration>

<property> <name>fs.default.name</name> <value>hdfs://10.11.3.225:9000/</value> </property>

</configuration>



Последнее исправление: micleivlev (всего исправлений: 2)

Но такая проблема: не могу загрузить файлы через сайт(юзер интерфейс), при том если я пытаюсь закинуть файлик в hdfs через кмд центоса - все нормально проходит.

А браузер в отладочной консольке что говорит?

Deleted
()
Ответ на: комментарий от Deleted

Еще немного воды, у меня стоит основной хост(10.11.3.225 hadoop.master.lan) и 2 ноды(раба) 10.11.3.226(node1) и 10.11.3.235(node2). В файле workers все три прописаны, в /etc/hosts - тоже. При загрузке файла в hdfs он должен загружаться на основной хост и реплицироваться в ноды. Но при попытке - на mastera загружается нормально, а вот с нодами ошибки. ssh между всеми тремя настроен, доступ должен быть.

скрин: http://dropmefiles.com/V6ahM

micleivlev
() автор топика

Во-первых, у тебя нет никаких больших данных, и никакой гадуп тебе не нужен. Во-вторых, гадуп вообще не нужен. Он сам в себя сжирает больше ресурсов, чем решаемая задача, и создаёт в десять раз больше проблем, чем решает.

Вообще, в 99.9% виденных мною случаев применения гадупа для распределённых вычислений его можно было смело выкинуть, и без него все якобы «big data» спокойненько уместились на одну машину вместо пяти, при этом всё стало считаться впятеро быстрее.

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.