【发布时间】:2021-10-31 13:08:16
【问题描述】:
我想将文件从 Azure blob 存储(使用 wasbs)读取到 Pandas 数据帧。我可以使用 Spark 阅读。但是我需要使用 Pandas。
例如: 'wasbs://test_container@storagetest.blob.core.windows.net/files/abc.csv'
【问题讨论】:
我想将文件从 Azure blob 存储(使用 wasbs)读取到 Pandas 数据帧。我可以使用 Spark 阅读。但是我需要使用 Pandas。
例如: 'wasbs://test_container@storagetest.blob.core.windows.net/files/abc.csv'
【问题讨论】:
你可以使用
pandas_df = spark_df.toPandas()
或者如果您使用的是数据块:
您可以使用 FUSE 读取已安装的 Azure 存储。您可以使用路径/dbfs/mnt/<yourMountLocation>/files/abc.csv访问类似于本地文件系统的wasb
【讨论】: