【问题标题】:Job chaining on Amazon EMR?Amazon EMR 上的作业链接?
【发布时间】:2017-07-12 12:40:39
【问题描述】:

我需要执行 2 个链式 M/R 作业,因此我需要将第一个作业的输出用作第二个作业的输入。

如何在 EMR 上实现这一点?

【问题讨论】:

    标签: amazon-web-services amazon-emr


    【解决方案1】:

    您可以将多个作业添加为步骤。并使用 S3 存储中间结果。第二个 mapreduce 作业可以从 S3 读取中间结果并继续完成工作。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2019-04-05
      • 1970-01-01
      • 2018-12-13
      • 1970-01-01
      • 2015-03-28
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多