从 Azure SQL 数据库迁移到 Azure Synapse答案

【问题标题】：Moving to Azure Synapse from Azure SQL Database从 Azure SQL 数据库迁移到 Azure Synapse
【发布时间】：2020-12-13 19:41:33
【问题描述】：

我们目前正在将应用程序数据库中的数据引入 Azure SQL 数据库。现在大小约为 600 GB（主要分布到仅 3 个事实表，其余表是非常小的主数据），它在 40 个 vCore 上运行（我们经常使用它来报告，所以需要大量vCore)。

我目前面临的一些困难：

从源到接收器的数据复制通常需要很长时间。我们使用的方法是delete这个月的所有记录，然后copy这个月的数据来自应用程序db。写入接收器通常也需要很多时间（由于我相信事实表上的索引）。
每当有人拉出大查询时，就会产生高数据 I/O。

在这里希望有人可以阐明如何使设置更快地工作。

谢谢！

【问题讨论】：

如何使用Database Sharding
Synapse 是源还是汇？
@HimanshuSinha-msft 突触是一个接收器

标签： azure azure-sql-database azure-data-factory azure-synapse

【解决方案1】：

虽然我需要更多信息，但我想我可以分享一些建议。当您提到大查询需要更多时间时，您是否检查过查询并确保索引在所需列上并且它们会定期更新？看起来您有 3 个包含大量数据的表，查询速度很慢吗？对所有三个？（如果我是你，我会尝试将问题分成更小的问题并逐个调查）

在复制部分，在复制之前，您必须选择数据，因此我们必须提高我上面提到的查询性能。你是如何复制数据的？由于我看到 ADF 标签，我假设它是 ADF 。您是否按顺序复制数据？我的意思是复制数据到 BigTable1 然后复制 BigTable2 然后 BigTable 3 ？您可以探索并行复制数据的可能性。我不知道你是如何在 ADF 中实现逻辑的，但是三个副本 avtivity 一个低于另一个就可以了。

在每个复制活动中，您都可以选择设置并行度和批次计数，我建议您查看一下。

除非您可以访问数据，否则很难解决性能问题 :) 让我知道它是怎么回事。

https://docs.microsoft.com/en-us/azure/data-factory/copy-activity-performance-features#parallel-copy

谢谢

喜满洲

【讨论】：

感谢 Himanshu。我在复制活动中面临的问题是在接收端。我的方法是先删除要复制的整个数据部分（比如 2020 年 1 月的数据），然后插入新的数据集。删除查询需要很长时间，插入查询也需要很长时间。即使我增加了 DIU，插入查询的吞吐量也极低。我认为这是因为表格上的索引。你有什么建议吗？真的很感激。