如何在 apache flink 上运行用 python 编写的光束管道

【问题标题】：How to run a beam pipeline written in python on apache flink如何在 apache flink 上运行用 python 编写的光束管道
【发布时间】：2018-01-15 17:34:08
【问题描述】：

我使用 python sdk 来编写我的光束管道。我使用芹菜作为直接跑步者的包装。我想使用 flink runner 来并行化我的负载。

根据文档，您需要将您的工作作为 flink runner 的 jar 文件提供。

您能否指出我可以同时使用 apache beam python sdk 和 apache flink 的任何资源？有样品吗？

【问题讨论】：

标签： python apache-flink apache-beam

【解决方案1】：

目前 (Apache Beam 2.2.0) 不支持 Apache Flink Runner for Apache Beam Python SDK。当您尝试在 Python 管道中使用 FlinkRunner 时，您将得到 ValueError：

ValueError：意外的管道运行器：FlinkRunner。有效值为 DirectRunner、EagerRunner、DataflowRunner、TestDataflowRunner 或 PipelineRunner 子类的完全限定名称。

你可以在源代码中看到这个，这里：https://github.com/apache/beam/blob/d11b9e9560131f55b418a13a7d10401c2135fb33/sdks/python/apache_beam/runners/runner.py#L62

【讨论】：