将大量数据从 SQL Server 传输和转换到 Azure SQL Server 的最佳方法。 Azure 数据工厂、HDInsight 等

Question

我想找到将 20 GB SQL 数据从安装在客户现场服务器 Client 上的 SQL Server 数据库传输到我们的 Azure SQL Server Source 的最佳方法，该 S4 具有 200 DTUs 性能，价格为 320 美元一个月。在进行初始设置时，我们设置了一个 Azure 数据工厂，它通过多个表副本复制超过 20 GB，例如，客户端表 A 的内容到源表 A，客户端表 B 的内容到源表 B，等等。然后我们运行许多提取器存储过程，通过将这些源表连接在一起，将源表中的数据插入到阶段表中，例如，源 A 连接到源 B。之后是增量副本，但初始设置确实需要很长时间。

目前在 S4 上的复制时间约为 12 小时，提取时间为 4 小时。以每月 2400 美元的价格将性能层增加到 1600 个 DTU 的 S9 将时间减少到 6 小时，提取时间为 2 小时，但这会带来更高的成本。

我想知道是否还有其他 Azure 方法。与将 Azure SQL DB 扩展到 S9 等相比，使用 Hadoop 或 Spark 设置 HDInsight 集群的成本效率更高吗？每月 2400 美元的 S9 31 天是每小时 3.28 美元。 Azure HDInsight Clusters of Memorized Optimized Nodes of a D14 v2 instance 每小时 1.496 美元，因此它比 S9 便宜。但是，它在性能方面如何比较。复制过程会更快还是提取过程会更快？

我还不习惯大数据方法。谢谢大家的帮助。

Answer 1

Azure 数据工厂复制活动提供一流的安全、可靠和高性能数据加载解决方案。它使您能够每天在各种云和本地数据存储中复制数十 TB 的数据。复制活动提供了易于配置和设置的高度优化的数据加载体验。

可以查看Copy Activity的性能参考表： 该表显示了基于内部测试运行的单个复制活动中给定源和接收器对的复制吞吐量数（以 MBps 为单位）。

如果您希望使用 Azure 数据工厂复制活动更快地传输数据，Azure 提供了三种方式来实现更高的吞吐量：

1. 数据集成单元。数据集成单元 (DIU)（以前称为云数据移动单元或 DMU）是表示数据工厂中单个单元的功率（CPU、内存和网络资源分配的组合）的度量。您可以通过使用更多数据集成单元 (DIU) 来实现更高的吞吐量。您将根据复制操作的总时间付费。您为数据移动支付的总持续时间是跨 DIU 的持续时间总和。

2. 并行复制。我们可以使用 parallelCopies 属性来指示您希望 Copy Activity 使用的并行度。对于每个 Copy Activity 运行，数据工厂确定用于将数据从源数据存储复制到目标数据存储的并行副本数。

3. 分阶段复制。当您将数据从源数据存储复制到接收器数据存储时，您可能会选择使用 Blob 存储作为临时暂存存储。

您可以通过以下方式通过 Copy Activity 调整数据工厂服务的性能。

有关 Azure 数据工厂复制活动性能的更多详细信息，请参阅： https://docs.microsoft.com/en-us/azure/data-factory/copy-activity-performance#data-integration-units