【问题标题】:Best way to bulk load data from Azure Synapse Serverless SQL pools into Azure storage or Databricks Spark将数据从 Azure Synapse Serverless SQL 池批量加载到 Azure 存储或 Databricks Spark 的最佳方式
【发布时间】:2022-01-03 18:44:10
【问题描述】:

我正在尝试将 Azure Synapse 无服务器 SQL 池中的数据批量加载到 Azure 存储或直接加载到 Databricks Spark(使用 JDBC 驱动程序)。假设我们只知道外部表名并且不知道下面文件的位置,那么进行这种批量加载的最佳方法是什么? 是否有任何元数据查询也可以知道文件的位置?

【问题讨论】:

    标签: azure azure-synapse


    【解决方案1】:

    这些文件已经在 Azure 存储中,因为 Synapse Serverless SQL 没有“数据库内”存储。

    假设它是一个外部表(不是带有 OPENROWSET 的视图),那么sys.external_tables 有一个包含文件或文件夹路径的位置列。

    如果您还不知道它所在的存储帐户和容器,您可能需要加入 sys.external_data_sources 以获取该信息。

    【讨论】:

      猜你喜欢
      • 2021-09-05
      • 2021-10-18
      • 2021-08-09
      • 2021-09-19
      • 1970-01-01
      • 2021-10-22
      • 2021-05-06
      • 2020-03-15
      • 2021-06-10
      相关资源
      最近更新 更多