【发布时间】：2017-03-24 13:55:45
【问题描述】：
我想实时监控 Spark 作业
为此，我从Spark Monitoring REST API 获取数据并以可视化方式显示。一种解决方案是每 1 秒轮询一次 API。但我想在没有投票的情况下做到这一点。
我们可以做类似Webhook的事情吗？
在此先感谢:)
【问题讨论】：
-
你的用例是什么，问因为spark有自己的webUI，如果你在yarn上运行，那么yarn也有自己的webUI。
-
@Pushkr 我必须制作一个 Jupyter notebook 插件，它在提交 Spark Job 时会实时显示详细信息。
标签： javascript python apache-spark pyspark bigdata