【发布时间】:2017-08-03 05:41:23
【问题描述】:
这是一个关于 flink 流的两个问题主题,基于我自己做的实验,我需要澄清一下。问题是:
当我们在 flink 的 KeyedStream 上使用 windows 时,apply 函数的计算是异步的吗?具体来说,flink 是否会为每个键创建单独的窗口,并相互独立地处理这些窗口?
假设我们在一个窗口流上使用 apply 函数(做一些计算),然后创建一个 DataStream。如果我们对生成的 DataStream 进行一些转换,flink 会将整个 WindowedStream 保存在内存中吗?并且 flink 会等到 WindowedStream 的所有 apply 函数都完成后再继续对结果流进行转换吗?
在我所做的所有实验中,我都使用了事件时间并从文件中读取数据。我在实验中观察到了上述陈述,我需要澄清一下。
【问题讨论】:
标签: apache-flink flink-streaming