【发布时间】:2017-09-05 05:01:24
【问题描述】:
我使用 EMR 模板创建了一个 AWS DataPipeline,但它没有在 EMR 集群上安装 Spark。我需要为此设置任何特殊操作吗? 我看到 spark 安装需要一些引导程序,但这也不起作用。
【问题讨论】:
标签: apache-spark emr amazon-data-pipeline
我使用 EMR 模板创建了一个 AWS DataPipeline,但它没有在 EMR 集群上安装 Spark。我需要为此设置任何特殊操作吗? 我看到 spark 安装需要一些引导程序,但这也不起作用。
【问题讨论】:
标签: apache-spark emr amazon-data-pipeline
该 install-spark 引导操作仅适用于 3.x AMI 版本。如果您使用的是 releaseLabel(emr-4.x 或更高版本),则以不同的方式指定要安装的应用程序。
创建管道时,单击底部的“在 Architect 中编辑”或在管道主页上编辑您的管道,然后您可以单击 EmrCluster 节点并从“添加可选字段... “ 落下。那是你可以添加 Spark 的地方。
【讨论】: