【发布时间】:2014-02-06 06:42:30
【问题描述】:
我是编写 map-reduce 的初学者,我不确定一些 reduce 函数属性。
所以,reduce 获取(键,值列表)作为输入参数...
- 是否保证输入值列表始终包含至少 2 个成员?那么,mapper 发出的唯一键永远不会传递给 reducer?
- 或者,如果输入列表中只有一项,是否保证键是唯一的?
- 可以减少发出比输入值列表大小更多的值吗?
- 我有一个很大的字符串列表。我需要找到所有不是唯一的。我可以只用一张地图/减少吗?我看到的唯一方法是通过一个 map/reduce 计算所有唯一字符串,然后选择另一个 map/reduce 不唯一的字符串
谢谢
【问题讨论】:
-
关于 MR 的一些基本问题 - 请查看 Data-Intensive Text Processing with MapReduce 以快速了解 MR 中的不同算法。