FLINK：部署耗时超过 60 秒

Question

我是 flink 新手，正在尝试在 EMR 集群上部署我的 jar。我使用了默认配置的 3 个节点集群（1 个主节点和 2 个从节点）。我没有做任何配置更改并坚持使用默认配置。在我的主节点上运行以下命令：

flink run -m yarn-cluster -yn 2 -c Main /home/hadoop/myjar-0.1.jar

我收到以下错误：

INFO  org.apache.flink.yarn.YarnClusterDescriptor- Deployment took more than 60 seconds. Please check if the requested resources are available in the YARN cluster

谁能解释这个错误的可能原因是什么？

Answer 1

由于您没有确定任何资源（内存、CPU 内核），我猜这是因为 YARN 集群没有所需的资源，尤其是内存。 尝试使用以下类型的命令提交您的 jar 文件：

flink run -m yarn-cluster -yn 5 -yjm 768 -ytm 1400 -ys 2 -yqu streamQ my_program.jar

您可以找到有关命令here的更多信息

您可以在 YARN WebUI 中查看应用程序日志，看看究竟是什么问题。

另外，请查看以下帖子：

• Post1
• post2