使用 Kubernetes、Python 和 Apache-Spark 3.2.0 在客户端模式下运行 spark 的两个单独的图像？答案

【问题标题】：Two separate images to run spark in client-mode using Kubernetes, Python with Apache-Spark 3.2.0?使用 Kubernetes、Python 和 Apache-Spark 3.2.0 在客户端模式下运行 spark 的两个单独的图像？
【发布时间】：2021-12-27 00:39:40
【问题描述】：

我使用从 Python 的分发文件夹运行的脚本部署了 Apache Spark 3.2.0：

./bin/docker-image-tool.sh -r <repo> -t my-tag -p ./kubernetes/dockerfiles/spark/bindings/python/Dockerfile build

我可以使用 Spark-Submit 在 K8s 下创建一个容器就好了。我的目标是运行为客户端模式与本地模式配置的 spark-submit，并期望为执行程序创建额外的容器。

我创建的映像是否允许这样做，或者我是否需要使用 docker-image 工具创建第二个映像（不带 -p 选项）并在不同的容器中进行配置？

【问题讨论】：

标签： python docker apache-spark kubernetes

【解决方案1】：

事实证明，如果您正在运行 PySpark，则只需要一张图像。使用客户端模式，代码会为您生成执行程序和工作程序，一旦您创建 spark-submit 命令，它们就会运行。 Spark 2.4 版的重大改进！

【讨论】：