Flink 动态缩放

Question

我目前正在研究 Flink 的可扩展性。从版本 1.2.0 开始，引入了动态重新缩放。我正在考虑扩展一项从 Kafka 源读取数据的长期运行的作业。

关于动态重新缩放的问题。

1. 要横向扩展我的 flink 应用程序，例如：添加新的任务管理器，是否必须重新启动作业/纱线会话才能使用新添加的资源？
2. 我认为可以编写 Yarn 客户端来部署新的任务管理器并使其与作业管理器对话，这在现有的 flink 纱线客户端应用程序中是否已经可用？

如果这些问题太基础了，请原谅我，我确实浏览了文档，我不得不承认我最近无法将这些概念与纱线上的一些测试部署完全结合。

Answer 1

目前，Dynamic Sc​​aling 是指更新算子的并行度的能力（Flink 1.2），无论是键控状态还是非键控状态。

1. 要横向扩展我的 flink 应用程序，例如：添加新的任务管理器，是否必须重新启动作业/纱线会话才能使用新添加的资源？ - 是 strong>，必须先停止作业，更新并行度，然后重新启动。不用担心状态，Flink 会处理它们，包括重新分区。

2. 我认为可以编写 Yarn 客户端来部署新的任务管理器并使其与作业管理器对话，这在现有的 flink 纱线客户端应用程序中是否已经可用？ - 否，你不能。将来似乎会添加此功能。目前，我们不能这样做。