【问题标题】:Use AWS Kinesis as a data source for an EMR MapReduce job使用 AWS Kinesis 作为 EMR MapReduce 作业的数据源
【发布时间】:2015-04-30 17:05:32
【问题描述】:

我设置了一个从多个来源接收数据的 AWS Kinesis 流。我想在 EMR 中使用 MapReduce 以多个增量批次处理该数据。

如何在我的工作中指定输入源?是否有任何特定的库来处理 Kinesis 记录?示例代码将不胜感激!

【问题讨论】:

    标签: java amazon-web-services mapreduce emr amazon-kinesis


    【解决方案1】:

    为了将 Kinesis 指定为 EMR 的输入,Amazon 为 Hive 和 Pig 提供了一个 JAR 扩展,用于处理迭代和检查点。

    对于 Hive,可以在 this tutorial 的“运行即席 Hive 查询”部分中找到示例代码。类似的教程存在for Pig

    【讨论】:

      猜你喜欢
      • 2014-08-01
      • 2021-02-03
      • 2019-10-25
      • 1970-01-01
      • 2021-09-28
      • 2011-12-15
      • 2012-05-09
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多