在 YARN 集群中提交作业之前，Flink TaskManager 不会启动

Question

我正在使用 Amazon EMR 在 YARN 上运行 Flink 集群。我的设置包括 1 个主节点和 2 个核心节点的 m4.large 实例。我已经使用以下命令在 YARN 上启动了 Flink Cluster：flink-yarn-session -n 2 -d -tm 4096 -s 4。

Flink 作业管理器和应用程序管理器启动，但没有运行任务管理器。 Flink Web 界面显示 0 表示任务管理器、任务槽和可用槽。但是，当我向 flink 集群提交作业时，任务管理器会被分配，作业会运行，Web UI 会按预期显示正确的值，一旦作业完成，就会返回 0。

即使没有提交作业，我也希望任务管理器能够运行，因为我想使用 Flink 的 REST API 来监控和修改基于可用槽值的并行度。

是否有我遗漏的配置会阻止任务管理器一直运行？

Answer 1

FLIP-6 中更改了 Flink 的行为以允许动态资源分配。从 Flink 1.5.0 版本开始，可以将mode: legacy 放在 flink-conf.yaml 中，以旧模式运行 Flink，任务管理器将与作业管理器一起启动。