为 gcloud dataproc 作业传递属性参数提交 pyspark答案

【问题标题】：passing properties argument for gcloud dataproc jobs submit pyspark为 gcloud dataproc 作业传递属性参数提交 pyspark
【发布时间】：2018-05-31 19:45:15
【问题描述】：

我正在尝试通过命令行向 google cloud dataproc 提交 pyspark 作业这些是我的论点；

gcloud dataproc jobs submit pyspark --cluster mongo-load --properties org.mongodb.spark:mongo-spark-connector_2.11:2.2.0 mongo_load.py

我经常遇到异常

--properties: Bad syntax for dict arg: [org.mongodb.spark:mongo-spark-connector_2.11:2.2.0]

我尝试了一些来自谷歌的转义选项，显示为here，但似乎没有任何效果。

【问题讨论】：

标签： mongodb pyspark google-cloud-platform google-cloud-dataproc

【解决方案1】：

发现我只需要通过

spark.jars.packages=org.mongodb.spark:mongo-spark-connector_2.11:2.2.0

【讨论】：

【解决方案2】：

除了@Marlon Gray 的回答，如果你需要传递多个包，你需要转义spark.jars.packages 字符串，比如

--properties=^#^spark.jars.packages=mavencoordinate1,mavencoordinate2

详情请查看https://cloud.google.com/sdk/gcloud/reference/topic/escaping。

【讨论】：