【发布时间】:2019-04-03 23:40:20
【问题描述】:
对于一个算子来说,输入流比它的输出流快,所以它的输入缓冲区会阻塞前一个算子的输出线程,把数据传输给这个算子。对吧?
Flink 和 Spark 是否都通过阻塞线程来处理背压?那么它们有什么区别呢?
对于数据源来说,它一直在生产数据,如果它的输出线程被阻塞了怎么办?缓冲区会溢出吗?
【问题讨论】:
对于一个算子来说,输入流比它的输出流快,所以它的输入缓冲区会阻塞前一个算子的输出线程,把数据传输给这个算子。对吧?
Flink 和 Spark 是否都通过阻塞线程来处理背压?那么它们有什么区别呢?
对于数据源来说,它一直在生产数据,如果它的输出线程被阻塞了怎么办?缓冲区会溢出吗?
【问题讨论】:
https://www.ververica.com/blog/how-flink-handles-backpressure
文章非常详细地解释了背压是如何在 flink 中隐式处理的
【讨论】: