我在谷歌云上运行一个 Spark 集群，并为每个作业上传一个配置文件。使用提交命令上传的文件的路径是什么？
在下面的示例中，如何在 SparkContext 初始化之前读取文件 Configuration.properties？我正在使用 Scala。
gcloud dataproc jobs submit spark --cluster my-cluster --class MyJob --files config/Configuration.properties --jars my.jar
【问题讨论】：
标签： scala apache-spark google-cloud-dataproc
使用SparkFiles机制（--files参数，SparkContext.addFile）方法分发的文件的本地路径可以使用SparkFiles.get获得：
org.apache.spark.SparkFiles.get(fileName)
您也可以使用SparkFiles.getRootDirectory获取根目录的路径：
org.apache.spark.SparkFiles.getRootDirectory
您可以将这些与标准 IO 实用程序结合使用来读取文件。
如何在 SparkContext 初始化之前读取文件 Configuration.properties？
SparkFiles 由驱动程序分发，在上下文初始化之前无法访问，并且首先要分发，必须从驱动程序节点访问。因此，这部分问题仅取决于您将使用哪种类型的存储将文件公开给驱动程序节点。
【讨论】：
new java.io.File() 无法打开此文件。将文件作为流打开时总是抛出 FileNotFound 异常。