Flink 如何针对热分区进行扩展？答案

【问题标题】：How does Flink scale for hot partitions?Flink 如何针对热分区进行扩展？
【发布时间】：2021-02-19 07:10:06
【问题描述】：

如果我有一个用例，我需要连接两个流或从单个流聚合某种指标，并且我使用键控流对事件进行分区，Flink 如何处理数据可能存在的热分区的操作不适合内存，需要跨分区拆分？

【问题讨论】：

stackoverflow.com/a/64205415/2000823 解释了部分答案，stackoverflow.com/a/58645723/2000823 也应该有所帮助。
感谢您提供有用的链接。但我仍然不明白如何处理热分区。让我们一个 keyGroup 为该组中的一个键获取更多事件。 Flink 会拆分该分区以创建可以容纳内存中事件的新组吗？

【解决方案1】：

Flink 不会对热分区自动执行任何操作。

如果您有一个始终如一的热分区，您可以手动拆分它并预先聚合拆分。

如果您担心避免因某个分区的意外负载峰值而导致内存不足错误，您可以使用溢出到磁盘的状态后端。

【讨论】：