Flink 多槽 TaskManagers 最佳实践答案

【问题标题】：Flink multi slot TaskManagers best practiceFlink 多槽 TaskManagers 最佳实践
【发布时间】：2019-03-23 05:52:28
【问题描述】：

假设正在运行一个设置为并行的集群 > 1. 在任务管理器中配置任务槽数的最佳实践是什么？

运行多个 TM，每个 TM 有一个任务槽
运行具有多个任务槽的单个/几个 TM

我们正在运行一个版本为 1.6.3 的 Flink 集群。 Flink 1.7 发布说明指出“Flink 现在正确支持具有多个插槽的任务管理器”。是否建议在以前的版本中使用单个插槽启动它们？

【问题讨论】：

我也对这个公告感到惊讶。我们之前（从 1.3 版开始）在 YARN 上运行多槽任务管理器，即使是状态更大的更复杂作业（~50-100 GB）也从未遇到过问题。

标签： apache-flink flink-streaming

【解决方案1】：

在 Flink 1.5 和 1.6 中，除了在开启 legacy 模式的情况下运行（通过mode: legacy），不完全支持分配具有多个 slot 的 TaskManager，建议设置taskmanager.numberOfTaskSlots: 1。现在已经完成了称为 FLIP-6 的运行时重构，这个限制已经解除。

【讨论】：