EKS 上的 EMR：如何检索托管在 EKS 上的 EMR 集群的主 URL 以创建 spark 上下文并使用 spark 上下文运行作业

Question

在我们的应用程序中，我们曾经使用 spark master 创建单个 spark 上下文并使用它执行多个 spark 作业。与我们在 EKS 上使用 EMR 的方式相同。有没有办法执行它，或者它支持这种方式，或者 EMR 只能用于提交作业。

Answer 1

AFAIU，EKS 上的 EMR 与 EMR 不同。当它创建时，它被称为“虚拟集群”——因为在你运行作业之前它实际上什么都没有。因此，您无法在 EKS 上检索 EMR 的主 URL。 要运行作业，它不像 EMR 那样使用 YARN，但它使用 Kubernetes——如果你运行一个执行 spark-submit 到 Kubernetes 集群的作业，它也一样，只是它使用自己的图像作为驱动程序和执行程序。它也没有 HDFS。

如果你想要一个“连续”的驱动程序，做一个如果它无事可做就不会完成的工作，并以某种方式向它发送新数据。