【发布时间】:2018-10-11 13:34:28
【问题描述】:
使用 Spark DStreams,我可以像这样指定滑动窗口长度:
val windowedStream = stream.window(Seconds(20))
如何使用结构化流来做到这一点?
【问题讨论】:
标签: scala apache-spark spark-structured-streaming
使用 Spark DStreams,我可以像这样指定滑动窗口长度:
val windowedStream = stream.window(Seconds(20))
如何使用结构化流来做到这一点?
【问题讨论】:
标签: scala apache-spark spark-structured-streaming
查看事件时间文档的窗口操作:https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html#window-operations-on-event-time
例子:
val windowedCounts = words.groupBy(window($"timestamp", "10 minutes", "5 minutes"),$"word").count()
【讨论】: