spark master 什么时候显示内存正在使用并且 çores 正在使用？

Question

我在 YARN 上运行 spark。在端口8088的yarn UI中，我可以看到有一个jobclearly running，当我点击右侧的ApplicationMaster时，它显示job正在spark中进行。

但是，当我转到 spark master 的端口 18080 时，我看到“正在使用的内存”为 0，“正在使用的核心”为 0，“应用程序：0 正在运行”。

如何让 spark master 确认我正在运行应用程序并使用内核和内存？这项工作显然正在取得进展，因为我可以看到正在写入磁盘的内容，但是为什么 spark master 不是最新的呢？

Answer 1

Spark Master 是 Spark Standalone 的一个组件。 Yarn 和 Spark Standalone 都是集群管理器。您应该只使用其中一个。如果您向 Yarn 提交应用程序，您将无法在 Spark Master 上看到它。在本例中，集群资源由 Yarn 而非 Spark Master 管理。