【问题标题】:Azure Data Factory not Using Data Flow RuntimeAzure 数据工厂不使用数据流运行时
【发布时间】:2021-07-17 03:42:19
【问题描述】:

我有一个带有管道的 Azure 数据工厂,我使用该管道从本地数据库中获取数据并复制到云中的 CosmosDB。我在最后使用数据流步骤从接收器中删除源中不存在的文档。

我设置了 3 个集成运行时:

  • AutoResolveIntegrationRuntime(Azure 默认设置)
  • 自托管集成运行时(我将其设置为连接到本地数据库,以便源数据集使用它)

  • 数据流集成运行时(我将其设置为由具有 TTL 设置的数据流步骤使用)

我看到的问题是,当我触发管道时,AutoResolveIntegrationRuntime 是正在使用的管道,因此我没有从带有 TTL 的数据流集成运行时获得所需的优化。 对这里可能出了什么问题有任何想法吗?

【问题讨论】:

  • 嗨@HEIdursi,如果我的回答对你有帮助,希望你能接受它作为答案(点击答案旁边的复选标记,将其从灰色切换为填充。)。这对其他社区成员可能是有益的。谢谢。

标签: azure-data-factory azure-data-factory-2 azure-data-factory-pipeline azure-data-flow


【解决方案1】:

根据我的经验,只有 AutoResolveIntegrationRuntime(Azure 默认设置)支持优化:

当我们选择在非默认集成上运行的数据流时,没有优化:

一旦创建了集成运行时,我们也无法更改设置:

数据工厂文档没有对此进行更多讨论。当我运行管道时,我发现 dataflowruntime 不起作用:

这意味着无论您使用哪个集成运行时连接到数据集,数据低将始终使用 Azure 默认集成运行时。

【讨论】:

    【解决方案2】:

    SHIR 不支持数据流执行。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2021-11-06
      • 2020-11-30
      • 1970-01-01
      • 1970-01-01
      • 2021-08-23
      • 2020-10-14
      • 2020-11-26
      • 1970-01-01
      相关资源
      最近更新 更多