【发布时间】:2017-11-23 13:33:27
【问题描述】:
我有超过 200 个 MSSQL 表,并且想将数据传输到 Azure Data Lake Storage。 我考虑的一种方法是将 SSIS 与动态数据流一起使用,即创建表名变量并对表名进行 foreach 循环,并为每个表运行数据流。然而,这种方法似乎是错误的,尽管文件是在具有正确方案的 Data Lake 存储中创建的,但由于映射错误,数据不会被传输。 有没有通用的方法来创建一个动态数据流并传输大量的表数据?
【问题讨论】:
-
添加 azure-data-factory 标签以查看 ADF 是否有帮助。
-
为元数据库中的每个表添加元数据。创建处理传输的自动存储过程。然后在 SQL 作业代理中并行执行。
标签: sql-server ssis etl azure-data-factory azure-data-lake