【问题标题】:how to kill flink ApplicationMaster when jobs failed作业失败时如何杀死flink ApplicationMaster
【发布时间】:2018-03-22 19:02:39
【问题描述】:

如何在 yarn 上创建 flink 应用程序被杀死或失败 当 flink 的内部工作失败时,它自己?无论有多少作业失败,应用程序仍在运行,因此无法立即发现问题。 你有什么想法吗?

【问题讨论】:

    标签: hadoop-yarn apache-flink


    【解决方案1】:

    你可以像任何其他常规纱线应用程序一样杀死它:

    yarn application -kill <applicationId>
    

    更多例如这里:https://hadoop.apache.org/docs/r2.7.3/hadoop-yarn/hadoop-yarn-site/YarnCommands.html

    【讨论】:

    • 有什么办法可以让应用程序自己失败,这样我们就可以立即得到失败通知。 flink-conf.yaml 改了很多次,还是不行。
    • 你是如何开始你的工作的?通过yarn-session 或作为每个作业的集群?如果是后者,只要在提交期间没有发生故障,就应该自动关闭集群。
    • 通过yarn-session,作业由CliFrontend提交给ResourceManager
    • 那么 yarn-session(在 yarn 中运行的 flink-cluster)完全独立于内部作业,因此不应因作业失败而失败。
    • 好的,也许我应该开发另一个客户端应用程序来监控作业运行状态。谢谢。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2018-11-24
    • 1970-01-01
    • 1970-01-01
    • 2016-10-11
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多