【问题标题】:List content of a directory in Spark code in Azure Synapse在 Azure Synapse 的 Spark 代码中列出目录的内容
【发布时间】:2021-08-16 04:47:49
【问题描述】:

在 Databricks 的 Scala 语言中,命令 dbutils.fs.ls 列出目录的内容。但是,我正在使用 Azure Synapse 中的笔记本,它没有 dbutils 包。 dbutils.fs.ls对应的Spark命令是什么?

%%scala
  dbutils.fs.ls("abfss://container@datalake.dfs.core.windows.net/outputs/wrangleddata")
%%spark
  // list the content of a directory. ????

【问题讨论】:

    标签: scala azure-synapse


    【解决方案1】:

    只需使用mssparkutils,它是一个粗略的等价物,主文档页面是here。一个简单的例子:

    mssparkutils.fs.ls("/")
    mssparkutils.fs.ls("abfss://container@datalake.dfs.core.windows.net/outputs/wrangleddata")
    

    【讨论】:

      猜你喜欢
      • 2010-12-16
      • 2013-12-07
      • 2022-01-19
      • 2021-10-24
      • 2019-02-27
      • 2011-06-10
      • 2023-02-14
      • 2011-02-15
      • 1970-01-01
      相关资源
      最近更新 更多