【问题标题】:DIU does not increase not more than 4 on copy activity复制活动的 DIU 不增加不超过 4
【发布时间】:2022-02-25 03:03:56
【问题描述】:

我正在尝试使用以下配置从 GCP(Big Query) Azure Storage Gen2 parquet 文件中复制数据。将 DIU 从 4 增加到 16,但在运行期间 DIU 不会超过 4。请您帮忙说明如何增加 DIU 以使我的流程更快?

  1. 使用保留层次结构
  2. 数据大小为 1200 万,3gb
  3. 吞吐量为 2.5mbps

【问题讨论】:

  • 嗨@Idleguys,将DIU设置为复制活动设置,如答案所述。

标签: azure-data-factory-2


【解决方案1】:

要增加复制活动的 DIU,只需单击该活动,然后在“设置”选项卡下,您可以找到数据集成单元选择器。

【讨论】:

  • 道歉我之前的帖子并不清楚,我知道如何从复制设置中增加 DIU。当我更改为 16 并使用上述配置运行管道时。在运行期间,DIU 不超过 4。期望复制活动应该使用 16 个单位,但事实并非如此。不是这样吗?请指教谢谢!
  • @Idleguys 知道了。
  • 那么这可能是您的数据源的吞吐量问题,而不是数据工厂。
  • 感谢@MartinEstebanZurita 的回复,我的吞吐量约为2.7mbps,你认为这很低吗?如果是这样,我怎样才能增加这个?
  • 慢或快取决于你的场景,对于大多数批处理来说它都很好。如果 DIU 不高于 4 是因为它不需要更高来处理它
【解决方案2】:

我也有同样的问题。我的来源是 Azure Blob(csv 文件),暂存也是 Azure Blob,最终目的地是带有 Azure 的 Snowflake。都在同一个地区/地区。

我已将 DIU 设置为 20,Parallel 设置为 4。但 DIU 设置为 4,Parallel 设置为 1。

【讨论】:

  • 这将是一个upvote和评论更好。
  • 这并不能真正回答问题。如果您有其他问题,可以点击 进行提问。要在此问题有新答案时收到通知,您可以follow this question。一旦你有足够的reputation,你也可以add a bounty 来引起对这个问题的更多关注。 - From Review
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2018-11-09
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2018-02-17
相关资源
最近更新 更多