【问题标题】:Synapse Pipeline to copy from Datalakes to DW error突触管道从 Datalakes 复制到 DW 错误
【发布时间】:2023-02-02 20:04:02
【问题描述】:

我正在尝试将数据从 Data Lakes 的 OnPremis DB SQL Servers 导入到 Azure Dedicated SQL Pool。 OnPremise 中的一些表是多个表。

仅当我选择“启用暂存”选项并选择我们现有的数据湖容器时,才能从数据湖导入数据。

我的问题是,如果导入文件已经在 Data Lakes 中,为什么我们需要选择“启用暂存”选项将其导入到 Azure 专用 SQL 池 (DW) 中?

【问题讨论】:

    标签: azure-sql-database azure-synapse azure-sqldw azure-sql-data-warehouse


    【解决方案1】:

    要将数据从 Data Lake 复制到突触专用池,我遵循以下过程:

    我创建了突触专用池链接服务:

    我为数据湖存储 Gen2 创建了链接服务

    我创建了管道并通过创建 Data lake Storage Gen2 分隔文本数据集作为源来执行复制活动:

    突触专用池数据集作为源并启用自动创建表

    在启用的设置页面中,暂存选择了 Azure Data Lake Storage Gen2 链接服务。

    根据this启用暂存如果您的源数据与 PolyBase 不兼容,则该选项适用。

    存储用于在使用 PolyBase 将数据加载到 Azure Synapse Analytics 之前暂存数据。复制完成后,会自动清理 Azure Data Lake Storage Gen2 中的临时数据。

    我调试管道,它运行成功

    它对我有用,请从你这边检查。

    【讨论】:

      猜你喜欢
      • 2020-10-02
      • 2020-12-31
      • 2021-12-22
      • 2023-01-12
      • 1970-01-01
      • 2015-06-09
      • 2021-11-08
      • 2020-06-14
      • 2021-01-15
      相关资源
      最近更新 更多