Azure 数据工厂多表

Question

我有一个业务场景，我们必须从一个数据库中提取所有表，比如说冒险工作，并将所有表信息放在数据湖中单独的 csv 中。假设在冒险工作数据库中，如果我们有 20 个表，我需要并行拉出所有表，并且每个表包含一个 csv，即 20 个表将在 azure 数据湖中包含 20 个 csv。如何使用 Azure 数据工厂。请不要使用 for-each 活动，它会按顺序获取文件且耗时。

Answer 1

在数据工厂中，有两种方法可以帮助您在一个管道中从 20 个表创建 20 个 csv 文件：for-each activity 和 Data Flow。

在 Data Flow 中，添加 20 个 Sources 和 Sink，例如：

无论哪种方式，副本活动都必须是按顺序进行的，并且需要一些时间。

您应该做的是考虑如何提高复制数据性能，就像 Thiago Gustodio 在评论中所说的那样，它可以同时帮助您。

例如，为您的数据库设置更多 DTU，为您的副本使用更多 DIU。

请参考这些数据工厂文档：

1. Mapping data flows performance and tuning guide
2. Copy activity performance and scalability guide

它们都为您提供性能支持。

希望这会有所帮助。