【问题标题】:How two times copy (staging copy + normal copy) in Azure synapse is more optimized then normal copyAzure synapse 中的两次复制(暂存复制 + 普通复制)如何比普通复制更优化
【发布时间】:2021-04-19 14:54:59
【问题描述】:

我有一个用例,我应该在 Azure 中优化我的数据源与 PolyBase 不兼容的复制活动(例如:Oracle DB)。 Here,他们说:

如果 PolyBase 最初不支持您的源数据存储和格式,请改用 PolyBase 功能使用暂存副本。分阶段复制功能还为您提供更好的吞吐量。它会自动将数据转换为与 PolyBase 兼容的格式,将数据存储在 Azure Blob 存储中,然后调用 PolyBase 将数据加载到 Azure Synapse Analytics。

  1. 我在做什么: copy from source (oracle for example) to sink (Azure synapse)

  2. Azure 所说的,正如 here 所解释的: copy source (oracle for example) to staging, then copy from staging to sink (Azure synapse Analytics)

我的问题是:案例 2 如何比我的案例 1 更优化(更快)?

【问题讨论】:

    标签: azure azure-synapse polybase


    【解决方案1】:

    当我们将数据从 staging 复制到 sink 时,实现了 polybase 更快,使整个操作更快。对于选项 1,使用了 bulkinsert。写入 blob 也总是比写入 sink 快。

    【讨论】:

    • 我明白你的意思,但最后对于我们复制到接收器的两个选项,3 步如何比 2 步复制更快,tbh 我没有对样本数据进行测试,但什么是天蓝色说到使用 polybase 让我很感兴趣
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2017-03-02
    • 2011-03-10
    • 1970-01-01
    • 2017-07-05
    • 2013-05-12
    • 2020-12-10
    • 2021-06-08
    相关资源
    最近更新 更多