【问题标题】:Synapse Pipeline to copy from Datalakes to DW error突触管道从 Datalakes 复制到 DW 错误
【发布时间】:2023-02-02 20:04:02
【问题描述】:
我正在尝试将数据从 Data Lakes 的 OnPremis DB SQL Servers 导入到 Azure Dedicated SQL Pool。 OnPremise 中的一些表是多个表。
仅当我选择“启用暂存”选项并选择我们现有的数据湖容器时,才能从数据湖导入数据。
我的问题是,如果导入文件已经在 Data Lakes 中,为什么我们需要选择“启用暂存”选项将其导入到 Azure 专用 SQL 池 (DW) 中?
【问题讨论】:
标签:
azure-sql-database
azure-synapse
azure-sqldw
azure-sql-data-warehouse
【解决方案1】:
要将数据从 Data Lake 复制到突触专用池,我遵循以下过程:
我创建了突触专用池链接服务:
我为数据湖存储 Gen2 创建了链接服务
我创建了管道并通过创建 Data lake Storage Gen2 分隔文本数据集作为源来执行复制活动:
突触专用池数据集作为源并启用自动创建表
在启用的设置页面中,暂存选择了 Azure Data Lake Storage Gen2 链接服务。
根据this启用暂存如果您的源数据与 PolyBase 不兼容,则该选项适用。
存储用于在使用 PolyBase 将数据加载到 Azure Synapse Analytics 之前暂存数据。复制完成后,会自动清理 Azure Data Lake Storage Gen2 中的临时数据。
我调试管道,它运行成功
它对我有用,请从你这边检查。