Spark 中的 java.io.FileNotFoundException答案

【问题标题】：java.io.FileNotFoundException in SparkSpark 中的 java.io.FileNotFoundException
【发布时间】：2016-10-18 03:32:10
【问题描述】：

我是新来的，使用Databricks.com 中的 Notebook 和 Cluster 学习 Spark 和 Scala，这是我加载文件的非常简单的代码：

import sys.process._
val localpath="file:/tmp/myfile.json"
dbutils.fs.mkdirs("dbfs:/datasets/")
dbutils.fs.cp(localpath, "dbfs:/datasets/")

但我得到了这样的错误：

java.io.FileNotFoundException：文件文件：/tmp/myfile.json 不存在。

在 org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:402)

在 org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:255)

在 com.databricks.backend.daemon.dbutils.FSUtils$.cp(DBUtilsCore.scala:82)

在 com.databricks.dbutils_v1.impl.DbfsUtilsImpl.cp(DbfsUtilsImpl.scala:40)

我使用的是 Mac，并且我已确保该文件存在于此绝对路径中，这是 spark 错误吗？谢谢！

【问题讨论】：

Databricks.com 无法在您的主机上运行，因此我不确定它是否可以访问您的本地文件。见forums.databricks.com/questions/828/…
是的，你是对的，它应该在 Spark 的 dbfs 中，但不在我的主机中

标签： scala apache-spark databricks

【解决方案1】：

行：

val localpath="file:/tmp/myfile.json"

应该是：

val localpath="file://tmp/myfile.json"

基本上所有 URI 的格式都是 ://path 参见 RFC-3986

【讨论】：