如何使用 spark-submit 集群模式进行身份验证？

Question

我想从本地计算机远程运行 spark-submit 以将作业提交到 spark 集群（集群模式）。我使用什么方法向集群验证自己的身份？

Answer 1

您需要在 spark 客户端计算机上才能提交作业。一旦您进入 spark 客户端并提交作业后，您将通过您提交作业的用户 ID 进行身份验证。如果您的用户 id 对集群具有权限，它将自动得到处理。对于启用 kerberos，您需要先为该会话生成 keytab，然后用户才能通过集群进行身份验证。