Apache Flink 限制正在处理的数据

Question

我正在寻找一种可以限制当前正在处理的数据量的选项。

用例：我正在从 Kafka 数据流中读取数据并处理该数据，并且我想限制正在传输的消息数量。这样做的原因是第三方应用程序的吞吐量。 一般不会有问题，但是在背压的场景下，经常会出现失败，应用会因为这些失败而重启。

Answer 1

一些可用的工具是：

1. 限制并行度。
2. 使用 Flink 的 async i/o operator 处理与 3rd 方 API 的连接，并相应地设置其容量（进行中的请求数）。这最终会给来源带来压力。
3. 对源应用速率限制。有关该主题的更多信息，请参阅 https://stackoverflow.com/a/65232295/2000823 和 https://stackoverflow.com/a/59027848/2000823。