在 Yarn 上运行 Flink 1.5

Question

我们在 hadoop 2.6 集群上运行 Flink 1.5.0 Yarn 会话。 ./bin/yarn-session.sh -n 4 -jm 1024 -tm 4096 -qu 但是，这不会启动任何任务管理器。日志说 Flink JobManager 以领导者 id 000000 开始...... 在 JobManager Web 界面中也没有任务管理器。当我们向这个 jobManager 提交一个 flink 作业时，一些 taskmannagers 确实会在执行该作业的 Web 界面上生成。这是从 Flink1.5.0 开始的预期行为吗？ 以同样的方式运行 Flink1.4.2 确实会在启动时生成任务管理器。

Answer 1

是的，被称为 FLIP-6 的 Flink 运行时的重新设计包含在 Flink 1.5 中，它具有您注意到的效果。有关 Flink 现在如何与 YARN 交互的简洁描述，请参阅this section of the documentation。

Flink 1.5 包含一个配置选项，用于使用以前的作业部署模型，称为 legacy mode。