【问题标题】:spark-sql: How to get the progress bar (with stages and tasks)?spark-sql:如何获取进度条(带有阶段和任务)?
【发布时间】:2018-07-16 23:04:44
【问题描述】:

如何在 spark-sql 上获得进度条? spark-shell 得到一个不错的进度条,如下所示: [阶段7:===========> (14174 + 5) / 62500]

这个进度条告诉我们分配的执行器总数是多少,有多少正在运行,有多少已完成。而进度条的长度表示作业的完成百分比。

如果没有这一点,我们只能依靠资源管理器 UI 并保持刷新。

【问题讨论】:

    标签: amazon-web-services apache-spark apache-spark-sql hadoop-yarn emr


    【解决方案1】:

    spark-sql -S 会显示压缩进度!

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2015-06-30
      • 2016-09-28
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多