ADF 减少复印活动的排队时间答案

【问题标题】：ADF Reduce Queue Time for Copy ActivityADF 减少复印活动的排队时间
【发布时间】：2022-07-28 14:34:24
【问题描述】：

我正在尝试复制从 HTTP 源提供的备份文件，下载 URL 仅在 60 秒内有效，并且复制步骤在完成之前超时（超时设置为 1 分 1 秒）。它有时会完成，但非常不一致。当它完成大约 40 秒的步骤队列时，其他时候它将排队超过一分钟，并且当它最终下载文件时链接已过期。它是一个正在下载的压缩 JSON 文件，小于 100 KB。

Source 和 Sink 数据集都使用我们创建的托管 VNet IR（由于公司政策，必须在 Sink 上使用），在 Source 上使用 AutoResolve IR，排队时间更长。

我在我能想到的复制活动中尝试了“最大并发连接数”、“DIU”和“复制并行度”的所有变体，但似乎没有任何效果。如果队列时间足够短以使下载成功，它似乎是随机的。

有什么方法可以加快队列过程以尝试获得更一致的成功下载？

【问题讨论】：

欢迎！这种延迟可能与源端性能有关。您是否尝试过在 ADF 外部下载以获得客观测量结果？我建议从那里开始。鉴于您已经调整了各种特定于性能的 ADF 设置，我不确定 ADF 方面还能做些什么。
谢谢！可悲的是我已经尝试过了，抱歉我忘了提。当我使用下载 URL 直接在 Web 浏览器中尝试时，下载会立即进行。当 ADF 成功时，Transfer 说它需要 2 秒，这只是在它到达那个点之前的排队导致我的问题。我担心没有什么可以做的，但希望我错过了一些东西。目前，我有获取新下载 URL 和“直到”活动中的“复制”的步骤，该活动持续尝试长达一个小时，它已经过了整整一个小时而之前没有成功下载文件。

标签： azure azure-data-factory azure-data-factory-2 azure-data-factory-pipeline

【解决方案1】：

Source 和 Sink 数据集都使用我们拥有的托管 VNet IR 创建（由于公司政策，必须在 Sink 上使用），使用源上的 AutoResolve IR，它需要更长的排队时间。

这非常令人困惑。如果您的 Source 和 Sink 在托管 VNet, 你的 IR 也应该是一样的托管 VNet以获得更好的安全性和性能。

根据this official document：

根据设计，托管 VNet IR 需要比 Azure IR 更长的排队时间，因为我们没有为每个服务实例保留一个计算节点，所以有一个为每个复制活动开始预热，它主要发生在 VNet 加入而不是 Azure IR。

由于没有保留节点，因此没有任何可能的方法来加速队列过程。

【讨论】：