Spark History Server 卡住加载

Question

当我运行 Spark History Server 时，我可以通过http://<master IP address>:18080 访问 Web 界面。如果我随后运行 Spark 作业并尝试在作业运行时访问 http://<master IP address>:18080/?showIncomplete=true，则屏幕将按照以下屏幕截图挂起：

工作完成后，我可以访问http://<master IP address>:18080/?showIncomplete=true，但无法再访问http://<master IP address>:18080/?showIncomplete=false。

我可以随时访问http://<master IP address>:18080/api/v1/applications。

为什么会这样？

Answer 1

这通常是由于 spark 历史服务器上的资源限制。尝试通过加倍来增加内存（JAVA_HEAP 等）和 CPU。另外，请确保不要过度分配资源。