传递给 hadoop map reduce 作业

【问题标题】：How to pass a Set<List<Set<Integer>>> to hadoop map reduce job如何将 Set<List<Set<Integer>>> 传递给 hadoop map reduce 作业
【发布时间】：2014-03-07 20:52:53
【问题描述】：

我需要向 map/reduce（hadoop 实现）传递一个类型的参数

Set<List<Set<Integer>>>

对于 hadoop 类 JobConf，我可以使用 setInt、setFlot、setString、ecc，但是如果我想设置“一个集合”或者一个列表，可以吗？怎么样？

【问题讨论】：

标签： java hadoop mapreduce

【解决方案1】：

我没有找到任何方法通过“setter”方法来做到这一点。但是，您可以将此 Collection 写入文件，然后将此文件添加到 Distributed Cache 并从映射器/reducer 的配置中加载它。

【讨论】：

我也有同样的想法（写入文件然后从文件中读取），但首先我想确定没有更好的方法。