【问题标题】:Spark Driver died, but did not kill the applicationSpark Driver 死了,但没有杀死应用程序
【发布时间】:2018-07-27 07:08:41
【问题描述】:

我有一个流式传输作业,由于网络调用超时而失败。虽然应用程序会持续一段时间,但如果同时我杀死驱动程序,应用程序不会死。而且我必须通过 UI 手动终止应用程序。

我的问题是: 发生这种情况是因为网络连接在不同的线程上形成并且不会让应用程序死掉吗??

【问题讨论】:

    标签: scala apache-spark


    【解决方案1】:

    不要“杀死”你的 spark 作业的随机部分;由于高可用性(sparks 的主要功能之一),他们重试。如果你想杀死你的工作,你可以使用纱线。

    yarn application -kill <APP_ID>
    

    您可以使用

    获取所有正在运行的应用程序的列表
    yarn application -list
    

    最后,您可以使用

    查看您的作业日志
    yarn application -logs <APP_ID>
    

    【讨论】:

      猜你喜欢
      • 2017-04-16
      • 1970-01-01
      • 2020-12-04
      • 1970-01-01
      • 1970-01-01
      • 2012-05-18
      • 2020-10-23
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多