apache Beam（python）中的重定向是什么意思

Question

在 apache beam python sdk 中，我经常在 pipeline 过程中看到 '>>' 运算符。

https://beam.apache.org/documentation/programming-guide/#pipeline-io

lines = p | 'ReadFromText' >> beam.io.ReadFromText('path/to/input-*.csv')

这是什么意思？

Answer 1

>> 是 Python 中的右位移位运算符。等效的dunder（双下划线）方法是__rrshift__()。

在 Python 中实现 Apache Beam 只需为 PTransform 类重新定义 __rrshift__()，以便可以将名称添加到转换中。这只是特殊的语法。在您的示例中，“ReadFromText”是转换的名称。

参考：https://github.com/apache/beam/blob/master/sdks/python/apache_beam/transforms/ptransform.py#L445