【问题标题】:Flink capture messages based on time window and processFlink 基于时间窗口和进程捕获消息
【发布时间】:2017-10-17 01:13:01
【问题描述】:

我想使用 flink 计算和处理消息。这里 flink 是从 kafka 读取数据,我的要求是在时间范围内读取和处理数据。 例如。

12:00 到 12:30 之间的消息,

12:30 到 1:00 之间的消息.. 以此类推,

我是 flink 的新手,你能指导或建议任何帮助吗,在此记录

谢谢

【问题讨论】:

    标签: scala apache-kafka apache-flink flink-streaming


    【解决方案1】:

    在此页面上解释了窗口化:https://ci.apache.org/projects/flink/flink-docs-release-1.2/dev/windows.html

    具体来说,它看起来像这样(作为示例):

    val windowing: DataStream[(**,**,...)] = data
      .keyBy(?)
      .timeWindow(Time.minutes(30))
      .map ( // your mapping )
      .reduce ( // your reduce function here )
    

    【讨论】:

      猜你喜欢
      • 2019-10-29
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2023-04-08
      • 2017-10-18
      • 2018-06-02
      相关资源
      最近更新 更多