为 Flink 1.14.0 中的特定任务管理器指定插槽共享组答案

【问题标题】：Specify slot sharing group for a specific task manager in Flink 1.14.0为 Flink 1.14.0 中的特定任务管理器指定插槽共享组
【发布时间】：2021-11-09 11:29:51
【问题描述】：

我正在尝试 Flink 1.14 中的细粒度资源管理功能，希望它能够将某些操作符分配给某些 TaskManager。按照https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/deployment/finegrained_resource/ 中的示例代码，我现在可以定义我想要的任务共享组（使用 setExternalResource-method），但我没有看到任何选项来“分配”具有此“外部资源”功能的 TaskManager 工作实例”。那么问题来了。按照1 中基于 GPU 的示例，如何确保 Flink “知道”哪个任务管理器实际上具有所需的 GPU？

【问题讨论】：

请编辑问题以将其限制为具有足够详细信息的特定问题，以确定适当的答案。

标签： apache-flink flink-streaming

【解决方案1】：

在优秀的 flink 邮件列表的帮助下，我现在有了解决方案。基本上，根据external resource documentation 为特定任务管理器添加行到 flink-conf.yaml。对于名为“示例”的资源，必须添加以下两行：

external-resources: example
external-resource.example.amount: 1

.. 将任务共享组与添加的外部资源匹配：

.setExternalResource("example", 1.0)

【讨论】：