减少 Apache Spark 启动时间

Question

我正在运行一个独立 Spark 集群并在客户端模式下使用spark-submit 提交我的应用程序（用SparkR 编写）。我有一组应用程序，我必须根据用户的输入运行，所以我不能让它们运行。每次提交申请并开始处理数据需要 15-20 秒。

可以以任何方式减少此时间吗？我在驱动程序机器上阅读了有关having a webserver 的信息，但不确定如何做到这一点。另外，我没有使用任何集群管理器（如 YARN），只是一个独立的集群。

另外，客户端或集群上的资源（例如 CPU 内核和内存）是否会影响此启动时间？

Answer 1

使用 Spark 作业服务器在应用程序之间共享 SparkContext 可以帮助您缩短启动时间。 （我不确定你是否需要这个，因为你大约 20 秒的启动时间似乎很短。）

提供上下文共享的流行 Spark 作业服务器是：

• Ooyala Spark-Jobserver
• Apache Livy

另外，客户端或集群上的资源（例如 CPU 内核和内存）是否会影响此启动时间？

不是真的。可用资源应该只影响应用程序的执行时间。