【问题标题】:How is message consumed from Kafka in Apache Flink?如何在 Apache Flink 中从 Kafka 消费消息?
【发布时间】:2019-09-06 14:35:27
【问题描述】:

我知道每次都会消耗一批数据以减少网络调用,但是消耗率仅取决于源运营商还是 Sink 的确认也很重要?这种情况下怎么处理burst?

【问题讨论】:

    标签: apache-kafka apache-flink


    【解决方案1】:

    源和接收器松散耦合。如果 sink 跟不上,那么这将导致背压通过作业图向上级联,从而阻止 source 能够以比消耗更快的速度向下游写入数据,这将减慢它的读取速度(从而匹配水槽)。

    请参阅How Apache Flink handles backpressure 了解更多信息。

    【讨论】:

      猜你喜欢
      • 2017-08-18
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2017-08-14
      • 2018-10-15
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多