MapReduce 从 Redis 读取输入答案

【问题标题】：MapReduce read input from RedisMapReduce 从 Redis 读取输入
【发布时间】：2013-07-29 20:30:09
【问题描述】：

我想编写一个执行 MapReduce 作业的 Java 程序（例如字数统计）。输入来自 Redis。如何编写 Map 类以从 Redis 中一一检索并在 Map 类中执行一些过程，就像我之前从 HDFS 读取一样？

【问题讨论】：

【解决方案1】：

没有允许我们这样做的 OOTB 功能。但您可能会发现 Jedis 之类的内容很有帮助。 Jedis 是一个 Java 客户端，您可以使用它从 Redis 读取/写入数据。示例见this。

如果您没有与 Java 强耦合，您可能还会发现 R3 很有用。 R3 是一个使用 Redis 后端用 Python 编写的 map reduce 引擎。

HTH

【讨论】：

【解决方案2】：

显然，您需要自定义您的 InputFormat。请阅读this 教程，了解如何编写自己的自定义 InputFormat 和 RecordReader。

【讨论】：

【解决方案3】：

将您的密钥放在 HDFS 中。在map()中，只需根据输入key从redis中查询即可。

【讨论】：

【解决方案4】：

试试Redisson，它是一个基于 Redis 的 Java 内存数据网格。它允许对存储在 Redis 中的数据执行 Map Reduce。

更多文档here。

【讨论】：