【发布时间】:2022-01-03 18:44:10
【问题描述】:
我正在尝试将 Azure Synapse 无服务器 SQL 池中的数据批量加载到 Azure 存储或直接加载到 Databricks Spark(使用 JDBC 驱动程序)。假设我们只知道外部表名并且不知道下面文件的位置,那么进行这种批量加载的最佳方法是什么? 是否有任何元数据查询也可以知道文件的位置?
【问题讨论】:
标签: azure azure-synapse
我正在尝试将 Azure Synapse 无服务器 SQL 池中的数据批量加载到 Azure 存储或直接加载到 Databricks Spark(使用 JDBC 驱动程序)。假设我们只知道外部表名并且不知道下面文件的位置,那么进行这种批量加载的最佳方法是什么? 是否有任何元数据查询也可以知道文件的位置?
【问题讨论】:
标签: azure azure-synapse
这些文件已经在 Azure 存储中,因为 Synapse Serverless SQL 没有“数据库内”存储。
假设它是一个外部表(不是带有 OPENROWSET 的视图),那么sys.external_tables 有一个包含文件或文件夹路径的位置列。
如果您还不知道它所在的存储帐户和容器,您可能需要加入 sys.external_data_sources 以获取该信息。
【讨论】: