【发布时间】:2013-09-26 06:25:24
【问题描述】:
我有一项服务不断检索一些数据。我将这些数据转储到一个数组中,这些数据必须进一步处理。是否可以创建一个通过服务不断更新的动态数组,并且我可以并排执行 Map Reduce 作业? 另外,我如何使用什么类来简单地获取数组输入(而不是文件)? PS 我是 Hadoop/Map Reduce 的新手 我正在用 Java 编写代码。
【问题讨论】:
标签: hadoop mapreduce hadoop-streaming
我有一项服务不断检索一些数据。我将这些数据转储到一个数组中,这些数据必须进一步处理。是否可以创建一个通过服务不断更新的动态数组,并且我可以并排执行 Map Reduce 作业? 另外,我如何使用什么类来简单地获取数组输入(而不是文件)? PS 我是 Hadoop/Map Reduce 的新手 我正在用 Java 编写代码。
【问题讨论】:
标签: hadoop mapreduce hadoop-streaming
Hadoop 用于批处理,因此只有当您存储了文件等数据并且需要对其进行处理并完成作业时,它才会变得强大。你可以看看Storm。我认为它会更适合您的用例。
【讨论】: