【问题标题】:Is it possible to add additional input to a later step of an mrjob?是否可以在 mrjob 的后续步骤中添加额外的输入?
【发布时间】:2014-04-01 15:05:09
【问题描述】:

我有一个包含 3 个步骤的 mrjob。 第二步期望输入第一步的结果以及来自 S3 的更多内容。

我知道我总是可以通过第一步“流式传输”它,这意味着发射是原样,并且只在第二步中使用它,但我想避免这种情况。

有没有办法为 mrjob 中的后续步骤定义额外的输入?

【问题讨论】:

    标签: emr mrjob


    【解决方案1】:

    您可以考虑使用持久的作业流将您的任务分成辅助输入之前和之后的部分,而不是将步骤分组到单个作业中:

    Re-use Amazon Elastic MapReduce instance

    http://pythonhosted.org/mrjob/guides/emr-advanced.html

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2013-11-28
      • 1970-01-01
      • 2020-02-15
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多