如何为 Flink 广播状态检查点启用压缩

Question

我使用的是 Flink 1.14.4，广播状态的检查点非常大时存在问题。 Flink docs 说：

Flink 为所有检查点和保存点提供可选的压缩（默认：关闭）

但是，此设置似乎并未用于广播状态。我看到 keyGroupCompressionDecorator 被 HeapKeyedStateBackend 使用，但没有被 HeapBroadcastState 使用。我还测试了打开压缩，它并没有改变广播状态的大小。

我错过了什么，或者这是一个有意的限制，或者只是代码中的一个遗漏？

Answer 1

BroadcastState 是运营商状态而不是 KeyedState。引用的文档指的是KeyedState：

压缩在键控状态下对键组的粒度起作用，

可能文档可以更明确地说明这种行为。

不幸的是，据我所知，OperatorState 没有压缩。我不是 100% 确定，但我相信它从未实施过，因为我们不想投资它，因为在大多数情况下应该首选 KeyedState。