【问题标题】:Is there any way to copy incremental data from SQL Server to Blob Storage Through Azure Data Factory?有没有办法通过 Azure 数据工厂将增量数据从 SQL Server 复制到 Blob 存储?
【发布时间】:2020-04-07 15:24:09
【问题描述】:

我正在尝试将增量数据从 Azure SQL 复制到 Blob 存储,但它会覆盖每个文件中的所有现有数据。你能帮我解决这个问题吗

【问题讨论】:

  • 您好,欢迎您。您使用什么代码来复制这些数据?你能把它包括在你的问题中吗?

标签: azure azure-data-factory azure-blob-storage azure-sql-server


【解决方案1】:

您的管道将只需要捕获 'delta' 数据,而不是所有数据。 它将需要许多查找活动、仅复制增量数据的复制活动和用于更新上次修改日期的存储过程活动(用于将来的复制)

查看: https://docs.microsoft.com/en-us/azure/data-factory/tutorial-incremental-copy-powershell

【讨论】:

  • 谢谢,但它会为容器中的每个增量加载创建一个单独的 blob 文件...我只需要一个包含其现有数据和增量数据的 .txt 文件。
【解决方案2】:

在每次增量加载时创建新文件,然后将增量文件数据附加到原始文件。对于附加文件数据,您可以使用此链接How to Append a Text File in an Azure Blob with a Azure Function

【讨论】:

    猜你喜欢
    • 2019-04-20
    • 1970-01-01
    • 2021-08-26
    • 2019-01-23
    • 2018-09-20
    • 2021-12-21
    • 2022-01-23
    • 2021-10-08
    • 2021-07-03
    相关资源
    最近更新 更多