【问题标题】:Beam/Dataflow PubsubIO: When is default timestamp assigned?Beam/Dataflow PubsubIO:何时分配默认时间戳?
【发布时间】:2019-01-11 04:07:16
【问题描述】:

如果在发布时或读取时未分配时间戳属性,则窗口使用什么时间戳? Documentation 表示系统第一次看到每条记录。这是系统数据流拓扑还是 Pub/Sub?

如果没有提供timestampAttribute,系统会生成记录 首次看到每条记录时的时间戳。所有窗口将是 相对于这些时间戳完成。

【问题讨论】:

    标签: google-cloud-dataflow apache-beam google-cloud-pubsub


    【解决方案1】:

    当您没有指定时间戳属性时,分配给消息的时间戳是在 pubsub 消息上设置的“publishTime”。

    见:https://github.com/apache/beam/blob/50d0760faf01bdcdea988157a6b732bb448ba4b8/sdks/java/io/google-cloud-platform/src/main/java/org/apache/beam/sdk/io/gcp/pubsub/PubsubJsonClient.java#L178

    【讨论】:

      猜你喜欢
      • 2017-06-03
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2019-03-13
      • 2015-03-02
      • 2019-06-15
      • 1970-01-01
      相关资源
      最近更新 更多