org.apache.spark.sql.AnalysisException：尝试从 spark 访问 azure 时路径不存在答案

【问题标题】：org.apache.spark.sql.AnalysisException: Path does not exist while trying to access azure from sparkorg.apache.spark.sql.AnalysisException：尝试从 spark 访问 azure 时路径不存在
【发布时间】：2018-12-28 12:31:03
【问题描述】：

下面是我的代码：

val spark = SparkSession.builder().master("local[*]").appName("demoApp").getOrCreate()
spark.sparkContext.hadoopConfiguration.set("fs.azure", "org.apache.hadoop.fs.azure.NativeAzureFileSystem")
    spark.sparkContext.hadoopConfiguration.set("fs.azure.account.key.<storage-account>.blob.core.windows.net", <account_key>)

val baseDir = "wasb://<container-name>@<storage_account>.blob.core.windows.net/"

val df = spark.read.orc(baseDir+"path")

错误：

org.apache.spark.sql.AnalysisException: Path does not exist wasb://<container-name>@<storage_account>.blob.core.windows.net/path

【问题讨论】：

以下回答对您有帮助吗？

标签： azure apache-spark azure-blob-storage

【解决方案1】：

我建议检查以下documentation。

他们提供了如何使用标准 spark API 和 databricks API 从 Blob 存储帐户读取的示例，显示的代码如下：

val df = spark.read.parquet("wasbs://<your-container-name>@<your-storage-account-name>.blob.core.windows.net/<your-directory-name>")

dbutils.fs.ls("wasbs://<your-container-name>@<your-storage-account-name>.blob.core.windows.net/<your-directory-name>")

【讨论】：