AWS EMR 中的步骤类型

Question

查看 AWS EMR 上的步骤类型时：

• 我们可以指定一个 UNIX .sh 脚本作为选项吗？
• 我们是否也可以运行 Spark-shell 或者它总是需要使用 spark-submit 运行的 JAR？

Answer 1

使用 command-runner.jar。

s3DistCp 的一个例子证明了这一点：

• 步骤类型：自定义 JAR
• 名称*：S3DistCp 步骤
• JAR 位置：command-runner.jar
• 参数：s3-dist-cp --src s3://my-tables/incoming/hourly_table --dest /data/input/hourly_table --targetSize 10 --groupBy ./hourly_table/.(2017-)./(\d\d)/..(log)
• 失败的动作：继续