使用 MapReduce 查找非对称对

Question

我正在尝试分析包含 follower 和 followee 对的社交网络数据。

我想使用 MapReduce(Hadoop) 找到 asymmetric pairs（A 跟随 B，但 B 不跟随 A）。

但是，对于这对数据，我不确定 mappers 和 one reducer 应该如何处理数据，因为分离对会影响结果。

谁能告诉我如何使用 MapReduce 从使用 MapReduce 的海量数据中找到非对称对？

非常感谢。

附言我希望有一种方法可以使用许多 Mapper 来解决这类问题，即使我可能只需要使用一个 Reducer。

Answer 1

这是我解决问题的方法。
（它可以工作，但它可能不是最佳解决方案。如果有人有更好的答案，请告诉我。）

Each mapper 计算关注者/被关注者对的数量同时使这对的顺序小数在前，大数在后。

0 -> 1（ID 0 跟随 ID 1）
1 -> 0（ID 1 跟随 ID 0）

对 (0, 1) 的计数为 2

Single reducer 收集计数的键值对，检查该对的计数是否为 1。

1 表示两个节点之间只有一条有向边。