【发布时间】:2017-09-14 05:14:29
【问题描述】:
我需要将数据从 On-Prem SQL 服务器增量复制到 Azure Data Lake Store 中的表中。
但是当使用 Azure 门户创建复制活动时,在目标中我只看到文件夹(表没有选项)。
如何将计划的 On-prem 表同步到 Data Lake Table Sync?
【问题讨论】:
标签: azure-data-lake azure-data-factory
我需要将数据从 On-Prem SQL 服务器增量复制到 Azure Data Lake Store 中的表中。
但是当使用 Azure 门户创建复制活动时,在目标中我只看到文件夹(表没有选项)。
如何将计划的 On-prem 表同步到 Data Lake Table Sync?
【问题讨论】:
标签: azure-data-lake azure-data-factory
Data Lake Store 没有表的概念。它是文件存储系统(如 HDFS)。但是,您可以在存储在 Data Lake Store 中的数据之上使用 Hive 或 Data Lake Analytics 等功能,以使您的数据符合架构。在 Hive 中,您可以使用 external tables 执行此操作,而在 Data Lake Analytics 中,您可以运行 simple extract script。
我希望这会有所帮助!
【讨论】:
Azure 数据湖分析 (ADLA) 确实具有包含表的数据库的概念。但是,它们目前并未作为数据工厂中的目标公开。我相信它在积压中,虽然我现在找不到参考。
您可以使用数据工厂将数据复制到 Data Lake Store,然后运行 U-SQL 脚本将其导入 ADLA 数据库。
如果您确实觉得这是一个重要功能,您可以在此处创建请求并为它投票:
https://feedback.azure.com/forums/327234-data-lake
ADLA 数据库和表格:
【讨论】: