【发布时间】：2011-03-28 17:37:16
【问题描述】：
我有一个有趣的问题，我正在努力适应 MapReduce。我有一堆日志条目。我需要做的是这样的：
检查给定 IP 的任何条目是否设置了特定标志。如果是，则对具有该 IP 的 所有 条目应用转换，否则不要转换。
最简单的方法是关闭IP，然后在reducer中迭代一次值以检查是否有任何设置了该标志，然后再次进行转换（如有必要）。不幸的是，似乎我只能遍历传递给减速器的 Iterable 一次。
我看到的可能的解决方案是：
- 在reducer 中，将我正在读取的值序列化到磁盘，以便稍后可以延迟反序列化以进行第二次迭代。这看起来有点像 hack。
- 预先运行一些作业，生成要转换的 IP 列表，并将其存储在 HBase 或其他东西中。这显然需要 HBase 和大量网络通信。
我想坚持使用标准 MapReduce，以便能够在 Amazon Elastic MapReduce 上轻松运行。我觉得应该有某种方法可以通过连锁工作来做到这一点，但我似乎想不出任何办法。有人对我如何做到这一点有任何提示吗？
【问题讨论】：
-
您还想在 reducer 中迭代什么？
-
只是条目列表，但我可能需要多次迭代它（在某些时候，在一个减速器、两个单独的减速器等中）。