Apache Flink：设置并行性的指南？

Question

我正在尝试获取一些简单的规则或准则来设置哪些值 操作员或工作 并行性。在我看来，它应该是一个数字

例如，假设我有 2 台任务管理器机器，每台机器有 4 个任务槽。 假设集群上没有运行其他作业，我会设置并行度吗 用于操作 像过滤器和映射到8？如果不是，那么合理的数字是多少？

如果您请求的并行度比任务槽多，会发生什么？在 上面的例子， 如果我将操作的并行度设置为 12 会发生什么？我假设它 会使用尽可能多的 可用？

此外，您似乎不想将并行性硬编码为 你的源代码，因为 您希望在提交时大致了解可用的任务槽 工作？ 您是否应该为所有运算符设置大致相同或不同的并行度 价值观，以及将指导什么 那个决定？

谢谢！

Answer 1

一般来说，最好不要对并行性进行硬编码，因为通常由操作负责决定为您的工作分配多少资源。此外，资源需求通常取决于您的 SLA 和实际工作负载，因此与程序无关，应单独处理。

使用Flink 1.5.0 在 Yarn 或 Mesos 上运行时，您只需要决定您的作业的并行度，系统将确保它启动足够的具有足够插槽的 TaskManager 来执行您的作业。这完全是动态发生的，您甚至可以在运行时更改作业的并行度。

如果您使用的是独立模式，或者如果您的 Yarn/Mesos 集群没有足够的资源/插槽可用，那么如果系统无法获得所需的插槽，作业将失败并返回 NoResourceAvailableException。