火花作业服务器未在集群中的多个节点上启动

Question

我们已经安装了一个 spark-jobserver，它使用 server_start.sh 在 spark 集群上启动，但是无论我们如何去做，我们都无法让它在多个 worker 上启动。我们可以设法让它在多个内核和更多内存的情况下运行，但不能在多个节点上运行。

我们尝试过的命令如下：

./server_start.sh --master spark://IP:PORT --deploy-mode cluster --total-executor cores 6
./server_start.sh --master spark://IP:PORT --deploy-mode cluster --total-executor cores 4 --executor-cores 2
./server_start.sh --master spark://IP:PORT --deploy-mode cluster --conf spark.driver.cores=4 --conf spark.driver.memory=7g
./server_start.sh --master spark://IP:PORT --deploy-mode cluster --conf spark.driver.cores=6 --conf spark.driver.memory=7g

前两个命令启动并显示一个工人使用一个核心和 1GB，而第三个显示一个工人使用 4 个核心和 7g。第四个命令显示要使用 6 个内核，但状态为 SUBMITTED。

我们已经通过使用以下命令启动 spark shell 验证了它确实可以在多个 worker 上启动和应用程序，该命令显示为具有 2 个 worker 和总共 6 个内核的正在运行的驱动程序。

./spark-shell --master spark://IP:PORT --total-executor cores 6

不胜感激。

Answer 1

Spark jobserver 实际上是 spark 驱动程序，而不是应用程序本身。我不知道你可以在工人之间分配负载。