【发布时间】:2018-07-16 23:04:44
【问题描述】:
如何在 spark-sql 上获得进度条? spark-shell 得到一个不错的进度条,如下所示: [阶段7:===========> (14174 + 5) / 62500]
这个进度条告诉我们分配的执行器总数是多少,有多少正在运行,有多少已完成。而进度条的长度表示作业的完成百分比。
如果没有这一点,我们只能依靠资源管理器 UI 并保持刷新。
【问题讨论】:
标签: amazon-web-services apache-spark apache-spark-sql hadoop-yarn emr