【问题标题】:Adding compute instance to Azure Synapse (dedicated pool)将计算实例添加到 Azure Synapse(专用池)
【发布时间】:2021-06-06 13:59:31
【问题描述】:

我有一个在 Azure Synapse 专用池上运行的 DWH。

除了现有的每晚/每日 ETL 流程外,我还需要并行添加另一个会破坏当前实例性能的流程。该流程每月只需要在白天运行 1 周。

类似于雪花方法,是否可以设置 独立 Azure Synapse 计算来处理与第一个实例相同的数据?不是数据的副本,而是相同文件中的相同数据。

或者我应该每天 2 次更改实例大小,每月 1 次? (需要暂停所有活动)

任何建议将不胜感激!

谢谢!

【问题讨论】:

  • 扩大规模似乎是最简单的选择 - 只需要几分钟,对吧?作为替代方案,您能否考虑使用无服务器 SQL 池来处理您的第二个工作负载?

标签: azure azure-sqldw azure-synapse azure-sql-data-warehouse


【解决方案1】:

我同意扩展或使用无服务器 SQL 池是一个不错的选择。

在实施之前,我还会评估您添加的附加(和/或现有)流程是否针对 MPP 进行了适当优化。首先验证您是否通过利用常见的 HASH 分布尽可能有效地共同定位数据。通常,首先为 SQL Server (SMP) 编写的 ETL 需要进行一些重构才能真正利用 MPP 的强大功能。

  1. 查看长时间运行作业的查询计划 - 是否存在过多的数据广播或改组?通过更新表分布进行修复
  2. 是否有最新的统计数据?

【讨论】:

    猜你喜欢
    • 2022-10-04
    • 2021-12-25
    • 2021-03-14
    • 2021-06-06
    • 2021-10-19
    • 2021-12-27
    • 2020-12-07
    • 2021-10-11
    • 2021-09-05
    相关资源
    最近更新 更多