Spark YARN 客户端作业从主机名未知的主机到集群？

Question

我在 YARN 集群中通过 IP 可见私有主机的数量，但不通过主机名。当他们尝试在 YARN 客户端模式下提交任何 Spark 作业时，会尝试从集群连接驱动程序主机。由于默认 spark.driver.host 配置为本地主机名，因此失败。

那么有什么好的选择来处理这个问题吗？类似于自动将“spark.driver.host”设置为用于连接集群的客户端 IP 接口地址？

• 正确的 DNS 解析不是选项。不可能。

Answer 1

基于此http://spark.apache.org/docs/latest/configuration.html，它似乎也可以获取 IP。所以你不必设置主机名。

理想情况下，该属性的值必须是集群节点的内部地址。