DTU 利用率不超过 56%答案

【问题标题】：DTU utilization is not going above 56%DTU 利用率不超过 56%
【发布时间】：2019-12-26 06:22:39
【问题描述】：

我正在使用 azure data factory v2 在 azure sql server 上进行数据加载。我开始加载数据并将数据库设置为具有 800 个 DTU 的标准定价层。它很慢，所以我将 DTU 增加到 1600。（我的管道从 7 小时开始仍在运行）。

我决定更改定价层。我将定价层更改为 Premium，DTU 设置为 1000。（我没有进行任何其他更改）。

管道因失去连接而失败。我重新运行管道。

现在，当我监控管道时，它工作正常。当我监控数据库时。平均 DTU 使用率不超过 56%。

我正在处理大量数据。我怎样才能加快这个过程？

我希望 DTU 必须达到最大值。但平均利用率约为 56%。

【问题讨论】：

【解决方案1】：

请关注此文档Copy activity performance and scalability guide。

本教程为我们提供了Performance tuning steps。

其中一种方法是使用更多 DTU 增加 Azure SQL 数据库层。您已将 Azure SQL 数据库层增加了 1000 个 DTU，但平均利用率约为 56%。我认为你不需要这么高的价格层。

您需要考虑其他方法来提高性能。比如设置更多Data Integration Units(DIU)。

数据集成单元是代表 Azure 数据工厂中单个单元的功率（CPU、内存和网络资源分配的组合）的度量。数据集成单元仅适用于 Azure 集成运行时，不适用于自托管集成运行时。

希望这会有所帮助。

【讨论】：

DIU 确实有帮助。
@DaxeshRadadiya 我在寻找类似解决方案时遇到了这篇文章。我尝试将数据工厂的 DIU 从 4 增加到 16。但它在运行时仍然消耗 4 DIU。只是好奇如何解决这个问题？
@Idleguys 你能发布一个包含更多细节的新问题吗？
@LeonYue stackoverflow.com/questions/65871435/… .. 在这里.. 谢谢
@Idleguys 这可能是由于您的目标配置。如果数据库配置较低或配置为使用较少的 DTU，则尝试仅针对数据迁移时间扩展配置，并在数据迁移活动完成后缩减到原始配置。

【解决方案2】：

Microsoft 的标准答案似乎是您需要调整目标数据库或向上扩展至更高层。这表明 Azure 数据工厂不是复制性能的限制因素。

但是，我们已经对单个表、单个副本活动、约 15 GB 的数据进行了一些测试。该表不包含varchar(max)，精度高，只是简单明了的数据。

结论：你选择什么样的层几乎没有关系（当然不是太低），大致高于 S7 / 800 DTU，8 个 vcores，复制活动的性能约为 10 MB/s 并且不会上升。目标数据库的负载为 50%-75%。

我们的假设是，由于我们可以不断提高数据库层来解决这个问题，但没有看到复制活动性能有任何改进，这与 Azure 数据工厂有关。

我们的解决方案是，因为我们正在加载许多单独的表，所以通过 for each 循环和至少设置为 4 的批次计数来横向扩展而不是纵向扩展。

DIU 大于 4 的设置目前仅在您复制时适用来自 Azure 存储、Azure Data Lake Storage、Amazon S3 的多个文件，谷歌云存储、云 FTP 或云 SFTP 到任何其他云数据商店。

在我们的例子中，我们从关系数据库中复制数据。

【讨论】：