【问题标题】:AWS DataPipeline EMR cluster with spark带火花的 AWS DataPipeline EMR 集群
【发布时间】:2017-09-05 05:01:24
【问题描述】:

我使用 EMR 模板创建了一个 AWS DataPipeline,但它没有在 EMR 集群上安装 Spark。我需要为此设置任何特殊操作吗? 我看到 spark 安装需要一些引导程序,但这也不起作用。

【问题讨论】:

    标签: apache-spark emr amazon-data-pipeline


    【解决方案1】:

    该 install-spark 引导操作仅适用于 3.x AMI 版本。如果您使用的是 releaseLabel(emr-4.x 或更高版本),则以不同的方式指定要安装的应用程序。

    创建管道时,单击底部的“在 Architect 中编辑”或在管道主页上编辑您的管道,然后您可以单击 EmrCluster 节点并从“添加可选字段... “ 落下。那是你可以添加 Spark 的地方。

    【讨论】:

      猜你喜欢
      • 2018-05-18
      • 2017-09-30
      • 2016-06-08
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2017-05-04
      • 1970-01-01
      • 2016-02-19
      相关资源
      最近更新 更多