WordCount 作业在“localjobrunner”而不是“yarn”上运行

Question

我在 eclipse luna 3.8 中运行 WordCount 示例。我的工作在 localjobrunner 上运行良好，但我希望它在纱线集群上运行，因为想要访问 hadoop 日志。我在某处读到，如果作业在本地运行，那么在提交给资源管理器之前它不会创建日志。只有当作业在纱线上运行时，才能将作业提交给资源管理器。

我的工作环境：

hadoop-2.6.0 以伪分发模式运行。

日食月神 3.8.

任何帮助将不胜感激。

Answer 1

使用 YARN 特定配置初始化作业。在驱动中添加这些配置，

Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://localhost:8020");
conf.set("mapreduce.framework.name", "yarn");
conf.set("yarn.resourcemanager.address", "localhost:8032");

Answer 2

您需要在您的类路径以及所有 yarn 和 mapreduce jar（依赖项）上正确地安装 yarn-site.xml 和 core-site.xml。现在你可能有来自 maven 的那些 jars 或其他东西，但你很可能错过了这些配置文件。您可以在 Eclipse 中的“作为配置运行”的类路径中设置这些。我假设您使用这些配置文件安装了本地 hadoop，并且您可以运行 hadoop 命令。在这种情况下，您可以将您的类路径指向该安装的 conf 目录和 lib 目录。这可能很乏味，但首先只需指向 conf dir（其中包含 core-site 和 yarn-site），看看是否可行。如果没有，那么还要排除你的 Eclipse 本地依赖项（maven 或类似的）yarn 和 mapreduce，并从你的安装目录中显式设置它们。检查这篇文章以设置 hadoop1 的类路径： https://letsdobigdata.wordpress.com/2013/12/07/running-hadoop-mapreduce-application-from-eclipse-kepler/

这是 MapR 的另一篇文章（忽略 mapr 客户端相关设置） https://mapr.com/blog/basic-notes-on-configuring-eclipse-as-a-hadoop-development-environment-for-mapr/

您可以对 hadoop2(yarn) 执行类似的步骤，但基本想法是您的应用程序运行时必须在类路径上获取正确的 jar 和配置文件，才能成功地将其部署到集群上。