【问题标题】:cluster not working with cdh4 tarball installation集群不适用于 cdh4 tarball 安装
【发布时间】:2013-03-24 18:16:05
【问题描述】:

我正在尝试使用 tarball 版本安装 CDH4,但我所采取的步骤如下所示:

我从链接https://ccp.cloudera.com/display/SUPPORT/CDH4+Downloadable+Tarballs下载了压缩包

我首先解压了 hadoop-0.20-mapreduce-0.20.2+1341 tar 文件

我做了配置更改

hadoop-0.20-mapreduce-0.20.2+1341  since i wanted mrv1 not yarn .

cdh4 安装中提到的第一件事是配置 HDFS

我做了相关的修改

core-site.xml
hdfs-site.xml
mapred-site.xml
masters --- which is my namenode
slaves ---- my datanodes

复制集群中所有节点上的hadoop配置

做了一个namenode格式。

格式化后我不得不启动集群,但是在 bin 文件夹中不能

找到 start-all.sh 脚本。所以在那种情况下,我从命令开始

bin/start-mapred.sh

在日志中它显示 jobtracker 已启动,并且 tasktracker 在从节点上启动 但是当我做 jps 时

我只能看到

jobtracker
jps

继续使用以下命令在数据节点上启动数据节点

bin/hadoop-daemon.sh start datanode .

它显示数据节点已启动。

Namenode 未启动,tasktracker 未启动。

当我检查我的日志时,我可以看到

ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Exception in namenode join
java.io.FileNotFoundException: webapps/hdfs not found in CLASSPATH

不确定是什么阻止了我的集群工作。

之前我有一个 cdh3 正在运行。所以我停止了 cdh3 集群。然后我开始安装 cdh4 。我还更改了所有目录 hdfs-site.xml,即为 namenode 和 datanode 指向新的空目录,而不是使用 cdh3 中定义的目录。

但似乎仍然没有任何帮助。

我还关闭了防火墙,因为我确实有 root 访问权限,但同样的事情它对我不起作用。

以上任何帮助都会有很大帮助。


感谢您的友好回复,但是

我没有

start-dfs.sh file in bin folder 

只有 /home/hadoop-2.0.0-mr1-cdh4.2.0/bin 文件夹中的文件是

start-mapred.sh
stop-mapred.sh
hadoop-daemon.sh
hadoop-daemons.sh
hadoop-config.sh
rcc
slaves.sh
hadoop

我现在使用的命令如下

用于启动数据节点:

for x in /home/hadoop-2.0.0-mr1-cdh4.2.0/bin/hadoop-* ; do $x start datanode ; done ;

用于启动名称节点:

bin/start-mapred.sh

我仍然在处理同样的问题。

【问题讨论】:

    标签: hadoop cloudera


    【解决方案1】:

    您好,很抱歉以上的误解,可以运行以下命令来启动您的datanodes和namenode

    启动namenode:

    hadoop-daemon.sh  start namenode 
    

    启动数据节点:

    hadoop-daemons.sh  start datanode 
    

    启动secondarynamenode:

    hadoop-daemons.sh --hosts masters start secondarynamenode
    

    【讨论】:

      【解决方案2】:

      jobtracker 恶魔将在您的主节点中启动,tasktraker 恶魔将在您运行命令后在您的每个数据节点中启动

      bin/start-mapred.sh
      

      Hadoop 集群设置 中,只有 jobtacker 恶魔将通过主节点中的 JPS 命令显示,在您的每个数据节点中,您都可以看到 Tasktracker 恶魔使用 JPS 命令运行。

      然后你必须通过在你的主节点中运行以下命令来启动 HDFS

      bin/start-dfs.sh
      

      此命令将在您的 namenode 机器中启动 namenode 恶魔(在此配置中,我相信您的主节点本身)并且在您的每个从属节点中启动 Datanode 恶魔。

      现在您可以在每个数据节点上运行 JPS,它会给出输出

      tasktracker
      datanode
      jps
      

      我认为这个链接会很有用 http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/

      【讨论】:

        猜你喜欢
        • 2012-12-17
        • 2013-05-22
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2012-07-04
        • 2022-01-05
        • 2017-01-21
        • 1970-01-01
        相关资源
        最近更新 更多