为 hadoop 工具设置额外的类路径

Question

如何动态设置附加类路径，以便可以从 hadoop 工具类访问 jar？我正在通过“hadoop jar”运行我的工作。我需要类似“-libjars”开关之类的东西，不幸的是它只适用于映射器和减速器，我的工具实现看不到“libjars”提供的罐子

export "HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/path/to/my.jar && hadoop jar ..." 似乎使工具可以访问“my.jar”，但是“/ lib" 文件夹变得无法访问。

Answer 1

此外，如果您与 Hadoop 发行版中包含的某些 jar 有冲突，您可以export HADOOP_USER_CLASSPATH_FIRST=true。也许对某人有用。