在 k8s 集群上运行 spark-operator答案

【问题标题】：run spark-operator on k8s cluster在 k8s 集群上运行 spark-operator
【发布时间】：2021-06-07 08:15:44
【问题描述】：

大家好，我正在尝试在我的 k8s 集群上运行 pi spark 示例。我已经安装了 spark 操作符，拉取图像并运行这个命令：

kubectl apply -f ./spark-pi.yaml

文档here。

当我记录驱动程序窗格时，它会给出：

pkg/mod/k8s.io/client-go@v0.19.6/tools/cache/reflector.go:156: Failed to watch *v1.Pod: failed to list *v1.Pod: pods is forbidden: User "system:serviceaccount:namespace:spark-operator-spark" cannot list resource "pods" in API group "" at the cluster scope

当我运行 operator pod 时，它会给出：

pkg/mod/k8s.io/client-go@v0.19.6/tools/cache/reflector.go:156: Failed to watch *v1.Pod: failed to list *v1.Pod: Unauthorized

这里是 ClusterRole 和 ClusterRoleBinding 的 rbac.yaml 文件（与原始 helm 图表文件相同的文件）：https://github.com/GoogleCloudPlatform/spark-on-k8s-operator/blob/master/charts/spark-operator-chart/templates/rbac.yaml 有什么解决办法吗？

【问题讨论】：

您提到的文档states 您可能需要更改服务帐户。你做到了吗？
@PawełGrondal: 是的，我已经在我的 spark-pi.yaml 文件中更改了名为“spark-operator-spark”的已创建服务帐户，但仍然 KO... 可能与中的角色绑定有关为了映射 sparkoperator.k8s.io 和 spark-operator-spark ？
请将您的 ClusterRole 和 ClusterRoleBinding 添加到您的原始帖子中。
@PawełGrondal 完成，请参阅原帖
@PawełGrondal 有什么想法吗？

标签： apache-spark kubernetes spark-operator

【解决方案1】：

在安装 Operator 之前，您需要设置：服务帐户角色绑定 Spark 应用程序的命名空间（可选但非常推荐） Spark Operator 的命名空间（可选但非常推荐）

请看下面的例子：

apiVersion: v1
kind: Namespace
metadata:
  name: spark-operator

apiVersion: v1
kind: Namespace
metadata:
  name: spark-apps

apiVersion: v1
kind: ServiceAccount
metadata:
  name: spark
  namespace: spark-apps

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: spark-operator-role
  namespace: spark-apps
roleRef:
  apiGroup: rbac.authorization.k8s.io
kind: ClusterRole
name: edit
subjects:
 - kind: ServiceAccount
name: spark
namespace: spark-apps

取自https://gist.github.com/dzlab/b546a450a9e8cfa5c8c3ff0a7c9ff091#file-spark-operator-yaml

【讨论】：