【问题标题】:How do i input an array to a Map Reduce Job?如何将数组输入到 Map Reduce 作业?
【发布时间】:2013-09-26 06:25:24
【问题描述】:

我有一项服务不断检索一些数据。我将这些数据转储到一个数组中,这些数据必须进一步处理。是否可以创建一个通过服务不断更新的动态数组,并且我可以并排执行 Map Reduce 作业? 另外,我如何使用什么类来简单地获取数组输入(而不是文件)? PS 我是 Hadoop/Map Reduce 的新手 我正在用 Java 编写代码。

【问题讨论】:

    标签: hadoop mapreduce hadoop-streaming


    【解决方案1】:

    Hadoop 用于批处理,因此只有当您存储了文件等数据并且需要对其进行处理并完成作业时,它才会变得强大。你可以看看Storm。我认为它会更适合您的用例。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2011-05-31
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多