【发布时间】:2016-01-25 01:56:09
【问题描述】:
我创建了一个包含多个小输入文件的HAR 文件。对于使用单个输入文件运行 map reduce 作业,这将是命令:
hadoop jar <jarname> <packagename.classname> <input> <output>
但如果上述<input> 是一个HAR 文件,那么将HAR 文件的所有内容都视为输入的命令是什么?
【问题讨论】:
我创建了一个包含多个小输入文件的HAR 文件。对于使用单个输入文件运行 map reduce 作业,这将是命令:
hadoop jar <jarname> <packagename.classname> <input> <output>
但如果上述<input> 是一个HAR 文件,那么将HAR 文件的所有内容都视为输入的命令是什么?
【问题讨论】:
如果输入是 HAR 文件,则必须在输入位置给出以下内容
har:///hdfs path to har file
由于 hadoop 存档将作为文件系统公开,mapreduce 将能够使用 hadoop 存档中的所有文件作为输入。
【讨论】: