【发布时间】:2018-10-29 20:59:54
【问题描述】:
有没有办法在 PTransform 之间传递元数据/属性?此信息不是元素的一部分,但在处理元素时应该可以访问。我有一个约束,不能将此信息作为构造函数参数传入。
【问题讨论】:
标签: google-cloud-dataflow apache-beam
有没有办法在 PTransform 之间传递元数据/属性?此信息不是元素的一部分,但在处理元素时应该可以访问。我有一个约束,不能将此信息作为构造函数参数传入。
【问题讨论】:
标签: google-cloud-dataflow apache-beam
为什么不能作为构造函数参数传入?
在到达特定变换之前,值是否未知?如果是这样,您可以将其作为附加输出进行检索,然后使用pvalue 将其作为辅助输入在任何需要的地方输入。
https://beam.apache.org/documentation/programming-guide/#additional-outputs
https://beam.apache.org/documentation/programming-guide/#side-inputs
https://beam.apache.org/releases/pydoc/2.8.0/apache_beam.pvalue.html#apache_beam.pvalue.AsSingleton
【讨论】: