【发布时间】:2019-06-17 08:07:22
【问题描述】:
在使用 Kinesis Analytics 工作了几周后,我有很多问题:
-
它有类似水印的东西吗? like in flink
正如我发现的那样,即使是交错窗口也是基于实时发出的:
记录按一分钟的交错窗口分组。交错 窗口在应用程序收到第一条 AMZN 记录时启动 (行时间为 11:00:20)。当 1 分钟的交错窗口期满时 (在 11:00:20){我想这是一个错字,应该是 11:01:20}, 结果落在交错窗口内的记录(基于 在 ROWTIME 和 EVENT_TIME) 被写入输出流。用一个 交错窗口,所有带有 ROWTIME 和 EVENT_TIME 的记录 在一分钟的窗口内以单个结果发出。 taken here
- 在page about sliding windows 上,我找到了一些示例,就那里而言,您只能选择“分区依据”的字段,我可以假设基于哪个字段进行窗口化的唯一字段是 ROWTIME。
WINDOW W1 AS ( 按ticker_symbol 分区 范围间隔 '1' 分钟前);
请不要将此视为仇恨帖子,我经常使用 AWS,并且大多数服务都是可靠且用户友好的。更多的是尝试指出更多用户(不仅是我)可能需要的某些功能。
或者,如果您知道如何在 Kinesis Analytics 中使用它,那么知道它会很有趣,因为我在文档中没有找到关于这些功能的任何信息。
【问题讨论】:
-
您是否找到了一种方法来将基于其进行窗口化的字段更改为除 ROWTIME 之外的另一个时间戳列?
标签: amazon-web-services streaming real-time apache-flink amazon-kinesis