【问题标题】:Apache Beam/Dataflow: Passing in attributes between TransformsApache Beam/Dataflow:在转换之间传递属性
【发布时间】:2018-10-29 20:59:54
【问题描述】:

有没有办法在 PTransform 之间传递元数据/属性?此信息不是元素的一部分,但在处理元素时应该可以访问。我有一个约束,不能将此信息作为构造函数参数传入。

【问题讨论】:

    标签: google-cloud-dataflow apache-beam


    【解决方案1】:

    为什么不能作为构造函数参数传入?

    在到达特定变换之前,值是否未知?如果是这样,您可以将其作为附加输出进行检索,然后使用pvalue 将其作为辅助输入在任何需要的地方输入。

    https://beam.apache.org/documentation/programming-guide/#additional-outputs

    https://beam.apache.org/documentation/programming-guide/#side-inputs

    https://beam.apache.org/releases/pydoc/2.8.0/apache_beam.pvalue.html#apache_beam.pvalue.AsSingleton

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2018-12-14
      • 1970-01-01
      • 2021-04-29
      • 1970-01-01
      • 2021-05-10
      • 1970-01-01
      • 2020-03-31
      • 1970-01-01
      相关资源
      最近更新 更多