DataflowPipeline 和 DataflowPipelineOptions 与 Pipeline 和 PipelineOptions

Question

经过一番研究，我发现 Google 云 API 说您应该使用 Pipeline.create(PipelineOptions) 而不是 DataflowPipeline.create(DataflowPipelineOptions)，但没有解释原因。谁能帮我澄清一下？

另外，一个后续问题，使用Pipeline.create(DataflowPipelineOptions) 在运行管道时也有效，有什么好的理由不使用DataflowPipelineOptions 已经具有的属性（例如项目）而不是重新实现PipelineOptions？

Answer 1

PipelineOptions 是一个特殊的类，旨在同时保存多种选项的集合。 DataflowPipelineOptions 只是它可以包含的选项子集之一，但是当提到完整的选项集合时，将其称为 PipelineOptions 更有意义，因为它是一个更通用和抽象的概念，尽管它与DataflowPipelineOptions 是同一个对象。

PipelineOptions 甚至不是特定于数据流的；部分原因是管道可以使用 Dataflow 以外的运行器运行，例如 Spark 和 Flink，它们有自己的选项。希望这能回答您的第二个问题。

详情请见Specifying execution parameters。