在 Bluemix 上执行 Apache Spark SQL 的作业的调度程序

Question

我在 Bluemix 中使用 Apache Spark。 我想为 sparksql 作业实现调度程序。我在一个描述调度的博客上看到了这个link。但不清楚如何更新清单。也许还有其他方法可以安排我的工作。

Answer 1

清单文件用于指导 Cloud Foundry (cf) 应用程序的部署。因此，在您的情况下，听起来您想部署充当 SparkSQL 调度程序的 cf 应用程序，并使用清单文件声明您的应用程序不需要任何 Web 应用程序路由内容，或面向用户的应用程序的任何其他内容，因为您只想运行后台调度程序。这一切都很好，cf docs 将帮助您实现这一目标。

但是，您目前无法为 Bluemix Spark 服务运行 SparkSQL 调度程序，因为它仅通过 Bluemix 的数据分析部分支持 Jupyter notebook；即，只有一个笔记本 UI。您需要一个可以从调度程序 cf 应用程序驱动的 Spark API；例如spark-submit 类型的东西，您可以在其中创建 Spark 上下文，然后运行程序，例如您提到的 SparkSQL。该 API 应该会出现在 Apache Spark Bluemix 服务中。

更新：spark-submit 在 2016 年第一季度末左右的某个时间可用。它是一个 shell 脚本，但在它内部通过 curl 进行 REST 调用。似乎还不支持 REST API，但您可以在调度程序中调用脚本，或者冒险直接调用 REST API，希望它不会改变并破坏您。