在 Microsoft Azure 中将 conf 文件添加到类路径

Question

这个问题类似于my other question，但这次是针对 Microsoft Azure。

我们有一个配置文件需要位于驱动程序（可能还有执行程序）的类路径中。

在 Microsoft Azure 中定义 Databricks 集群时，我配置了自定义 Spark 配置： spark.executor.extraClassPath 和 spark.driver.extraClassPath。我将两条路径都指向了 dbfs 中包含我们的配置的目录。但正如人们怀疑的那样，这是行不通的。

问题是，这些 Spark Config 支持哪种类型的路径？如果它只是本地文件系统，我如何在驱动程序（和执行程序）上获取我的配置文件？

Answer 1

请注意该设置区分大小写，我认为您应该将其设置为本地目录，并使用初始化脚本将其从 dbfs 复制到那里（使用 /dbfs/path 语法），以便可以低延迟地从JVM。