【发布时间】:2013-03-24 18:16:05
【问题描述】:
我正在尝试使用 tarball 版本安装 CDH4,但我所采取的步骤如下所示:
我从链接https://ccp.cloudera.com/display/SUPPORT/CDH4+Downloadable+Tarballs下载了压缩包
我首先解压了 hadoop-0.20-mapreduce-0.20.2+1341 tar 文件
我做了配置更改
hadoop-0.20-mapreduce-0.20.2+1341 since i wanted mrv1 not yarn .
cdh4 安装中提到的第一件事是配置 HDFS
我做了相关的修改
core-site.xml
hdfs-site.xml
mapred-site.xml
masters --- which is my namenode
slaves ---- my datanodes
复制集群中所有节点上的hadoop配置
做了一个namenode格式。
格式化后我不得不启动集群,但是在 bin 文件夹中不能
找到 start-all.sh 脚本。所以在那种情况下,我从命令开始
bin/start-mapred.sh
在日志中它显示 jobtracker 已启动,并且 tasktracker 在从节点上启动 但是当我做 jps 时
我只能看到
jobtracker
jps
继续使用以下命令在数据节点上启动数据节点
bin/hadoop-daemon.sh start datanode .
它显示数据节点已启动。
Namenode 未启动,tasktracker 未启动。
当我检查我的日志时,我可以看到
ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Exception in namenode join
java.io.FileNotFoundException: webapps/hdfs not found in CLASSPATH
不确定是什么阻止了我的集群工作。
之前我有一个 cdh3 正在运行。所以我停止了 cdh3 集群。然后我开始安装 cdh4 。我还更改了所有目录 hdfs-site.xml,即为 namenode 和 datanode 指向新的空目录,而不是使用 cdh3 中定义的目录。
但似乎仍然没有任何帮助。
我还关闭了防火墙,因为我确实有 root 访问权限,但同样的事情它对我不起作用。
以上任何帮助都会有很大帮助。
感谢您的友好回复,但是
我没有
start-dfs.sh file in bin folder
只有 /home/hadoop-2.0.0-mr1-cdh4.2.0/bin 文件夹中的文件是
start-mapred.sh
stop-mapred.sh
hadoop-daemon.sh
hadoop-daemons.sh
hadoop-config.sh
rcc
slaves.sh
hadoop
我现在使用的命令如下
用于启动数据节点:
for x in /home/hadoop-2.0.0-mr1-cdh4.2.0/bin/hadoop-* ; do $x start datanode ; done ;
用于启动名称节点:
bin/start-mapred.sh
我仍然在处理同样的问题。
【问题讨论】: