使用外部配置文件启动 SparkR 会话

Question

我有一个连接到 Spark 集群的 RStudio 驱动程序实例。我想知道是否有任何方法可以使用外部配置文件从 RStudio 实际连接到 Spark 集群，该配置文件可以指定执行器的数量、内存和其他 spark 参数。我知道我们可以使用下面的命令来做到这一点

sparkR.session(sparkConfig = list(spark.cores.max='2',spark.executor.memory = '8g'))

我正在专门寻找一种从外部文件获取 spark 参数来启动 sparkR 会话的方法。

Answer 1

Spark 使用标准化配置布局，spark-defaults.conf 用于指定配置选项。此文件应位于以下目录之一：

• SPARK_HOME/conf
• SPARK_CONF_DIR

您所要做的就是配置SPARK_HOME 或SPARK_CONF_DIR 环境变量并将配置放在那里。

每个 Spark 安装都附带模板文件，您可以将其用作灵感。