【问题标题】:How to run a MapReduce JAR file, which is inside HDFS?如何运行 HDFS 中的 MapReduce JAR 文件?
【发布时间】:2016-03-30 16:21:49
【问题描述】:

我正在尝试运行 Hadoop 文件系统中存在的 map-reduce 代码。
传统的运行方式:
hadoop jar [path-to-jar-file-in-local] [main-class] [args]...
[path-to-jar-file-in-local] - 我的 jar 文件在 HDFS 中。

【问题讨论】:

  • 将 jar 文件保存在 HDFS 中的任何具体原因?你可以试试copyToLocal这个jar文件,然后用常规方式运行。
  • 边缘节点访问已被客户端禁用,我们只能访问 Hadoop 环境。未授予任何 Unix 系统权限。

标签: jar mapreduce


【解决方案1】:

similar question。所有 hadoop 命令都由 bin/hadoop 脚本调用。为了执行 jar 文件,它使用 RunJar 类,该类具有以下代码 sn-p

int firstArg = 0;
String fileName = args[firstArg++];
File file = new File(fileName);

fileName 指向 jarFile。

【讨论】:

  • 所以在我的情况下,没有办法执行 Map Reduce,存在于 HDFS 中?
猜你喜欢
  • 2014-05-04
  • 1970-01-01
  • 2020-01-24
  • 1970-01-01
  • 2013-08-08
  • 1970-01-01
  • 2015-07-06
  • 2010-11-17
  • 1970-01-01
相关资源
最近更新 更多