Google数据流上基于会话的窗口中使用的密钥是什么

【问题标题】：What is the key used in Session based windowing on Google dataflowGoogle数据流上基于会话的窗口中使用的密钥是什么
【发布时间】：2017-03-06 14:49:38
【问题描述】：

我是数据流的新手。我在谷歌文档中看到了这个例子。

PCollection<String> items = ...;
  PCollection<String> session_windowed_items = items.apply(
    Window.<String>into(Sessions.withGapDuration(Duration.standardMinutes(10))));

1) 在上面的例子中，数据流用来创建窗口的键是什么？

2) 如果我的输入源是 pubsub，我应该设置任何消息属性吗？当我们使用基于 Session 的窗口时，我们如何指定应该使用的关键数据流。

【问题讨论】：

标签： google-cloud-platform google-cloud-dataflow dataflow

【解决方案1】：

元素在Window.into 之后的第一个分组操作中分配给会话。影响GroupByKey、Combine.perKey、Sum.perKey、CoGroupByKey等操作的key就是分组key。

您不需要设置消息属性来指定密钥。相反，您将编写一个 ParDo 将现有元素转换为 KV<K, V> 值，而那里的键将从那里派生。

您可能想阅读about group-by-key for 了解更多信息。

【讨论】：