如何在没有外部 spark-submit 客户端的情况下使用 kubernetes 部署 Spark

Question

我正在尝试将我的 spark 作业 docker 化并使用 k8 部署它。 Docker 文档提供了一种对 spark 进行 dockerize 的方法，我们可以将其用作基础镜像并使用我们的自定义作业更新 spark。

参考 - Spark documentation

我面临的问题是在 dockerized 部署环境之外部署它需要一个 spark-submit 客户端。

如何在 K8 集群中包含 spark-submit 客户端，然后可以使用 helm 和 Kubernetes 进行部署

Answer 1

我们可以使用 spark-operator 来解决这个问题。 按照下面的链接尝试一个示例示例Spark Operator

需要具备 Kubernetes 和 helm 的必备知识。