【发布时间】:2020-04-07 15:24:09
【问题描述】:
我正在尝试将增量数据从 Azure SQL 复制到 Blob 存储,但它会覆盖每个文件中的所有现有数据。你能帮我解决这个问题吗
【问题讨论】:
-
您好,欢迎您。您使用什么代码来复制这些数据?你能把它包括在你的问题中吗?
标签: azure azure-data-factory azure-blob-storage azure-sql-server
我正在尝试将增量数据从 Azure SQL 复制到 Blob 存储,但它会覆盖每个文件中的所有现有数据。你能帮我解决这个问题吗
【问题讨论】:
标签: azure azure-data-factory azure-blob-storage azure-sql-server
您的管道将只需要捕获 'delta' 数据,而不是所有数据。 它将需要许多查找活动、仅复制增量数据的复制活动和用于更新上次修改日期的存储过程活动(用于将来的复制)
查看: https://docs.microsoft.com/en-us/azure/data-factory/tutorial-incremental-copy-powershell
【讨论】:
在每次增量加载时创建新文件,然后将增量文件数据附加到原始文件。对于附加文件数据,您可以使用此链接How to Append a Text File in an Azure Blob with a Azure Function。
【讨论】: