【问题标题】:Flink: fail fast if job parallelism is larger than the total number of slotsFlink:如果作业并行度大于插槽总数,则快速失败
【发布时间】:2019-09-01 15:11:32
【问题描述】:

Flink doc 说:

一个 Flink 集群需要的任务槽数与作业中使用的最高并行度完全相同。

但是当我以作业并行度=4 和 2 个插槽 (2 TM * 1) 运行 WordCount 示例作业时,我观察到 Dispatcher 仍然接受了作业并完成了一些任务,但几分钟后发生了此错误:

org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableException: Could not allocate enough slots within timeout of 300000 ms to run the job. Please make sure that the cluster has enough resources.

如果并行度大于插槽总数,我是否可以将作业配置为快速失败?

【问题讨论】:

    标签: apache-flink


    【解决方案1】:

    flink 作业管理器将尝试在您的集群中查找资源。

    您需要给 Job manager 一些时间,显然这取决于您的集群大小和网络。

    您可以更改slot.request.timeout 以便更快地获取异常。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2014-11-05
      • 1970-01-01
      • 2019-01-18
      相关资源
      最近更新 更多