【发布时间】：2020-04-17 16:52:24
【问题描述】：
我是 Apache Beam 和 Apace spark 的新手，我想为 spark runner 配置光束管道。我不清楚文档中提到的内容。
【问题讨论】：
标签： java apache-spark apache-beam
【发布时间】：2020-04-17 16:52:24
【问题描述】：
您可以将参数--runner SparkRunner 传递给管道启动器，以使用spark 作为底层运行器。另外，请分享您使用的 Beam SDK 的语言。 Python 和 java 通过 Beam 在 Spark 上运行有一些不同的方式。
【讨论】：
-
感谢您的回复。我正在使用带有梁版本 2.18.0 的 java。此外，我想知道这个跑步者如何公开可以在我的应用程序中使用的 Spark 的特性/功能。如何使用它们的指南也会很有帮助
-
感谢您的信息。对于 java，您可以使用“非便携式”火花跑步者。这是目前最容易使用的。请按照此处的说明进行操作beam.apache.org/documentation/runners/spark 我们可以按照文档中的流程调试您可能遇到的特定错误。
-
@Ankur 应该如何使用 Spark runner 尝试使用 Python 的 apache beam。我尝试从 pypi 安装 pyspark 包，但似乎不起作用
-
您需要使用可移植的运行器实现 beam 来在 spark 上运行 py。更多细节在这里beam.apache.org/documentation/runners/spark/…