【发布时间】:2021-08-16 03:17:46
【问题描述】:
使用 flink 版本 1.13.0
我在我的应用程序中使用广播状态,它会每 2 分钟加载大量数据(大约 500'000 个地图类型的数据)
我在 web-ui 中看到拓扑图发现,每次广播源加载时,它都有 50%-100% 的背压,而加入的进程有 50%-100% 的忙碌。我想知道这段时间进程是被阻塞并缓慢处理数据还是停止处理数据?
【问题讨论】:
标签: apache-flink flink-streaming
使用 flink 版本 1.13.0
我在我的应用程序中使用广播状态,它会每 2 分钟加载大量数据(大约 500'000 个地图类型的数据)
我在 web-ui 中看到拓扑图发现,每次广播源加载时,它都有 50%-100% 的背压,而加入的进程有 50%-100% 的忙碌。我想知道这段时间进程是被阻塞并缓慢处理数据还是停止处理数据?
【问题讨论】:
标签: apache-flink flink-streaming
BroadcastProcessFunction 是线程安全的。调用processBroadcastElement加载状态时,不会执行processElement函数。
所以当状态比较大的时候,会阻塞正常的数据处理,也会产生背压。
【讨论】: