【发布时间】:2017-10-17 01:13:01
【问题描述】:
我想使用 flink 计算和处理消息。这里 flink 是从 kafka 读取数据,我的要求是在时间范围内读取和处理数据。 例如。
12:00 到 12:30 之间的消息,
12:30 到 1:00 之间的消息.. 以此类推,
我是 flink 的新手,你能指导或建议任何帮助吗,在此记录
谢谢
【问题讨论】:
标签: scala apache-kafka apache-flink flink-streaming
我想使用 flink 计算和处理消息。这里 flink 是从 kafka 读取数据,我的要求是在时间范围内读取和处理数据。 例如。
12:00 到 12:30 之间的消息,
12:30 到 1:00 之间的消息.. 以此类推,
我是 flink 的新手,你能指导或建议任何帮助吗,在此记录
谢谢
【问题讨论】:
标签: scala apache-kafka apache-flink flink-streaming
在此页面上解释了窗口化:https://ci.apache.org/projects/flink/flink-docs-release-1.2/dev/windows.html
具体来说,它看起来像这样(作为示例):
val windowing: DataStream[(**,**,...)] = data
.keyBy(?)
.timeWindow(Time.minutes(30))
.map ( // your mapping )
.reduce ( // your reduce function here )
【讨论】: