【问题标题】:MapReduce Job with HAR file input带有 HAR 文件输入的 MapReduce 作业
【发布时间】:2016-01-25 01:56:09
【问题描述】:

我创建了一个包含多个小输入文件的HAR 文件。对于使用单个输入文件运行 map reduce 作业,这将是命令:

hadoop jar <jarname> <packagename.classname> <input> <output>

但如果上述<input> 是一个HAR 文件,那么将HAR 文件的所有内容都视为输入的命令是什么?

【问题讨论】:

    标签: hadoop mapreduce hdfs har


    【解决方案1】:

    如果输入是 HAR 文件,则必须在输入位置给出以下内容

    har:///hdfs path to har file
    

    由于 hadoop 存档将作为文件系统公开,mapreduce 将能够使用 hadoop 存档中的所有文件作为输入。

    【讨论】:

    • “hadoop 档案将作为文件系统公开”是这里值得注意的事情。谢谢。
    猜你喜欢
    • 2016-03-22
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多