从 Lambda 同时提交 EMR 中的 Spark 作业

【问题标题】：Submit Spark Jobs in EMR concurrently from Lambda从 Lambda 同时提交 EMR 中的 Spark 作业
【发布时间】：2017-08-28 10:30:26
【问题描述】：

我的应用程序需要使用 EMR spark Jobs 实时处理数据。

我正在使用 Lambda 的 EMR 的 addJobFlowSteps API，但它本质上是顺序的。

有没有其他方法可以从 Lambda 向 EMR 提交作业，它本质上是并发的？

【问题讨论】：

【解决方案1】：

您可以使用自定义的“spark-submit”脚本。

我用这个：

cat /usr/bin/spark-submit-forked
#!/bin/bash

(nohup spark-submit "$@" > /dev/null 2>&1 &)

【讨论】：