如何从 Java 创建 HAR（Hadoop 存档）？

Question

我做rest-service，它必须在hadoop集群中创建har-files。其余的工作在应用程序服务器上，而不是在 hadoop 集群中。我为此使用 org.apache.hadoop.tools.HadoopArchives。但我不知道在创建 HadoopArchive 对象时如何设置集群。

HadoopArchives har = new HadoopArchives(conf);

另一方面，当我尝试使用 org.apache.hadoop.fs.FsShell 时，我使用 next

FsShell shell = newShellInstance();

conf.set("fs.defaultFS", "hdfs://...");

shell.setConf(conf);

而且每件事都运作良好。

但我不明白相同的 HadoopArchives 是如何做到的。

谢谢。

Answer 1

您最好的选择是将hadoop archive 命令作为外部进程运行（例如ProcessBuilder），并将您的配置作为HADOOP_CONF 环境变量传递。 否则，您将不得不编写一个 MapReduce 作业并直接从您的休息服务启动它，这将是令人费解的。 HadoopArchives 本质上是一个命令行实用程序，并非旨在用作库。