【问题标题】:error using -libjars while running map reduce job运行 map reduce 作业时使用 -libjars 出错
【发布时间】:2012-08-08 10:21:17
【问题描述】:

我正在尝试使用 hadoop jar 命令运行 map reduce 作业。 我正在尝试使用 -libjars 选项包含外部库。 我目前正在运行的命令是 hadoop jar mapR.jar com.ms.hadoop.poc.CsvParser -libjars google-gson.jar Test1.txt 输出 但我收到这个作为输出 用法:[输入] [输出] 谁能帮帮我。 我也在我的类路径中包含了外部库。

【问题讨论】:

    标签: hadoop


    【解决方案1】:

    你能列出你的main(String args[]) 方法的内容吗?您是否使用 ToolRunner 界面来启动您的工作? -libjars 参数的解析是 GenericOptionsParser 的一个函数,它通过 ToolRunner 实用程序类为您调用:

    public class Driver extends Configured implements Tool {
        public static void main(String args[]) {
            System.exit(ToolRunner.run(new Driver(), args)));
        }
    
        public int run(String args[]) {
            Job job = new Job(getConf());
            Configuration conf = job.getConfiguration();
    
            // other job configuration
    
            return job.waitForCompletion(true) ? 0 : 1;
        }
    }
    

    【讨论】:

      猜你喜欢
      • 2015-05-28
      • 1970-01-01
      • 1970-01-01
      • 2012-02-20
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2014-10-07
      • 1970-01-01
      相关资源
      最近更新 更多