有没有办法在 AWS Glue 中将多个 --conf 设置为作业参数？答案

【问题标题】：Is there a way to set multiple --conf as job parametet in AWS Glue?有没有办法在 AWS Glue 中将多个 --conf 设置为作业参数？
【发布时间】：2019-11-25 18:30:47
【问题描述】：

我正在尝试在我的 Glue 作业中配置 spark。当我尝试在“编辑作业”中将它们一一输入时，“作业参数”作为键和值对（例如键：--conf 值：spark.executor.memory=10g）它可以工作，但是当我尝试将它们放入时完全（由空格或逗号分隔），它会导致错误。我也尝试使用 sc._conf.setAll 但 Glue 忽略配置并坚持使用其默认值。有没有办法用 Spark 2.4 做到这一点？

【问题讨论】：

标签： amazon-web-services apache-spark pyspark aws-glue

【解决方案1】：

是的，您可以传递多个参数，如下所示：

密钥： --conf

值： spark.yarn.executor.memoryOverhead=7g --conf spark.yarn.executor.memory=7g

【讨论】：