Azure 数据工厂限制

Question

我创建了一个这样操作的简单管道：

1. 通过 Azure 函数生成访问令牌。没问题。

2. 使用 Lookup 活动创建表以遍历行（4 列 x 0.5M 行）。没问题。

3. 对于每个活动（连续关闭，批量大小 = 10）：
4. （在 For Each 内）：设置一些变量用于检查重要值。
5. （在 For Each 内）：通过网络活动传递值以返回 json。
6. （在 For Each 内）：将 json 的数据活动映射部分复制到 sink-dataset (postgres)。

问题：在大约 1000 个条目/插入后，管道会变慢。

我正在查看 documentation 关于 ADF 的限制。

• 每个项目：100,000
• ForEach 并行度：20

除非我误解它，否则我希望这在这些范围内。 我还克隆了管道并通过将查询偏移为一个来尝试它，它在 2018 年的条目中达到顶峰。

任何有更多经验的人能给我一些关于这里发生了什么的想法吗？

Answer 1

作为建议，每当我必须在 foreach 中摆弄变量时，我都会为 foreach 进程创建一个新管道，并从 foreach 中调用它。这样我可以确保变量在 foreach 的每次迭代中都有自己的上下文。

您是否已经检查过瓶颈不在源头或汇点处？如果数据库或 Web 服务承受一些压力，那么在您的场景允许的情况下，按顺序执行可能会有所帮助。

希望这有帮助！