spark-shell 使用类型安全配置加载 scala 配置

Question

我正在尝试使用 typesafe-config 在 spark-shell 中加载 application.conf。

以下是代码和spark-shell命令：

scala 代码：

import com.typesafe.config.{Config, ConfigFactory}

val config: Config = ConfigFactory.load("application.conf")
val env = config.getString("key.key1")

spark-shell 命令：

• spark-shell --jars confing-1.3.4.jar --files application.conf --driver-java-options -Dconfig.file=application.conf（尝试 1）
• spark-shell --jars confing-1.3.4.jar (attempt 2)

application.conf：

key {

 key1 = "value1"

}

错误：

com.typesafe.config.ConfigException$Missing: system properties: No configuration setting found for key 'key'

Answer 1

您的 conf 文件在哪里？您是否尝试使用根目录的完整路径？ 例如：

val config: Config = ConfigFactory.load("/<root-path>/application.conf")

Answer 2

您可以通过--files "application.conf" 将文件传递给每个执行程序，并使用ConfigFactory.parseFile() 作为读取

你可以通过--files和SparkFiles.get获取文件

import com.typesafe.config.ConfigFactory
import java.io.File
import org.apache.spark.SparkFiles

val config = ConfigFactory.parseFile(new File(SparkFiles.get("application.conf")))

这应该会加载你想要的配置。