如何在没有 kerberos 的情况下启动 spark 3.0.0 kubernetes 工作负载？答案

【问题标题】：How to launch spark 3.0.0 kubernetes workload without kerberos?如何在没有 kerberos 的情况下启动 spark 3.0.0 kubernetes 工作负载？
【发布时间】：2020-10-24 20:37:28
【问题描述】：

似乎在 spark 3.0.0 上，当我使用 kubernetes 进行 spark 提交时，它需要 kerberos，我使用在 2.4.5 中运行良好的相同 spark 提交我收到此错误：

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
20/07/04 08:17:51 INFO SparkKubernetesClientFactory: Auto-configuring K8S client using current context from users K8S config file
20/07/04 08:17:51 INFO KerberosConfDriverFeatureStep: You have not specified a krb5.conf file locally or via a ConfigMap. Make sure that you have the krb5.conf locally on the driver image.
Exception in thread "main" org.apache.hadoop.security.KerberosAuthException: failure to login: javax.security.auth.login.LoginException: java.lang.NullPointerException: invalid null input: name

更具体地说，我不想使用 kerberos

【问题讨论】：

标签： apache-spark kubernetes kerberos

【解决方案1】：

您可以在操作系统级别处理此 id (185)，或者您可以在 dockerfile 中对其进行注释，但您将是 root.... 埃里克

【讨论】：

非常感谢@erich。注释掉 USER 工作（尽管它以你提到的 root 身份运行）。

【解决方案2】：

好的，找到了，你需要在镜像构建步骤指定一个 spark_uid。

【讨论】：

嗨@erich，我面临着完全相同的问题。 spark 3.0 附带的 Dockerfile 已经包含 spark_uid = 185，但我仍然遇到了问题。请告诉我你是怎么解决的？谢谢