使用运行对话框 (F11) 在 Eclipse 中的远程集群上启动 Hadoop Map Reduce 作业

Question

是否可以使用 Eclipse 运行对话框 (F11) 在远程集群上启动 Map Reduce 作业？

目前我必须使用 External Tool Chain Dialog 和 Maven 来运行它。

注意：在本地集群上执行它与运行对话框无关。但是对于远程连接，必须有一个已编译的 JAR。否则你会得到一个ClassNotFoundException（如果设置了Jar-By-Class）

我们当前的设置是：

• Spring-Data-Hadoop 1.0.0
• STS - Springsource 工具套件
• 马文
• CDH4

这是我们在 applicationContext.xml 上设置的（这是您在 vanilla hadoop 上的 *-site.xml 中指定的内容）

 <hdp:configuration id="hadoopConfiguration">
    fs.defaultFS=hdfs://carolin.ixcloud.net:8020
    mapred.job.tracker=michaela.ixcloud.net:8021
</hdp:configuration>

有没有办法告诉 Eclipse 在执行 Run Dialog 时应该构建一个 JAR。

Answer 1

我不知道它是否构建了一个新的 jar（可能你必须将一个 jar 提取到一个文件夹中），添加“Run Configurations->Classpath”你的 jar 会清除问题“ClassNotFoundException”。