【问题标题】:will the Broadcast state source block process?广播状态源会阻塞进程吗?
【发布时间】:2021-08-16 03:17:46
【问题描述】:

使用 flink 版本 1.13.0

我在我的应用程序中使用广播状态,它会每 2 分钟加载大量数据(大约 500'000 个地图类型的数据)

我在 web-ui 中看到拓扑图发现,每次广播源加载时,它都有 50%-100% 的背压,而加入的进程有 50%-100% 的忙碌。我想知道这段时间进程是被阻塞并缓慢处理数据还是停止处理数据?

【问题讨论】:

    标签: apache-flink flink-streaming


    【解决方案1】:

    BroadcastProcessFunction 是线程安全的。调用processBroadcastElement加载状态时,不会执行processElement函数。

    所以当状态比较大的时候,会阻塞正常的数据处理,也会产生背压。

    【讨论】:

      猜你喜欢
      • 2015-03-08
      • 2015-07-10
      • 2017-01-22
      • 2013-11-27
      • 1970-01-01
      • 2016-07-06
      • 1970-01-01
      • 2014-09-10
      • 1970-01-01
      相关资源
      最近更新 更多