【问题标题】:Azure Data Factory Copy Activity to Copy to Azure Data Lake Table要复制到 Azure Data Lake Table 的 Azure 数据工厂复制活动
【发布时间】:2017-09-14 05:14:29
【问题描述】:

我需要将数据从 On-Prem SQL 服务器增量复制到 Azure Data Lake Store 中的表中。

但是当使用 Azure 门户创建复制活动时,在目标中我只看到文件夹(表没有选项)。

如何将计划的 On-prem 表同步到 Data Lake Table Sync?

【问题讨论】:

    标签: azure-data-lake azure-data-factory


    【解决方案1】:

    Data Lake Store 没有表的概念。它是文件存储系统(如 HDFS)。但是,您可以在存储在 Data Lake Store 中的数据之上使用 Hive 或 Data Lake Analytics 等功能,以使您的数据符合架构。在 Hive 中,您可以使用 external tables 执行此操作,而在 Data Lake Analytics 中,您可以运行 simple extract script

    我希望这会有所帮助!

    【讨论】:

      【解决方案2】:

      Azure 数据湖分析 (ADLA) 确实具有包含表的数据库的概念。但是,它们目前并未作为数据工厂中的目标公开。我相信它在积压中,虽然我现在找不到参考。

      您可以使用数据工厂将数据复制到 Data Lake Store,然后运行 ​​U-SQL 脚本将其导入 ADLA 数据库。

      如果您确实觉得这是一个重要功能,您可以在此处创建请求并为它投票:

      https://feedback.azure.com/forums/327234-data-lake

      ADLA 数据库和表格:

      【讨论】:

        猜你喜欢
        • 2022-01-04
        • 1970-01-01
        • 2018-08-01
        • 2020-09-15
        • 2019-03-28
        • 2020-08-21
        • 2021-06-10
        • 2017-07-28
        • 1970-01-01
        相关资源
        最近更新 更多