【问题标题】:Copy data from one blob storage to another blob storage将数据从一个 blob 存储复制到另一个 blob 存储
【发布时间】:2020-09-24 21:29:25
【问题描述】:

我的要求就像我有两个存储帐户 sa01 和 sa02。假设 Sa01 有 10 个文件,而 Sa02 在上午 01:00 也有 10 个文件。现在我在 sa01 凌晨 1:15 又上传了 4 个文件,我的复制活动将自动运行,因为我实现了事件触发器。所以它会将 4 个文件插入到 sa02。

问题 - 它将插入 4 个文件并更新之前的 (10) 个文件,所以我在上午 01:15 时收到 14 个文件,并且要求说如果在上午 01:00 已经上传了 10 个文件并且sa02 中可以插入 4 个最新的文件。

看图片中的时间我刚刚上传了一个文件所有文件时间都被修改了。

【问题讨论】:

    标签: azure-storage azure-data-factory azure-blob-storage eventtrigger


    【解决方案1】:

    Azure Data Share 是实现此目的的一种好方法。它通常用于与合作伙伴公司同步存储。但是您可以在自己的订阅中同步。没有可写的代码。有一个 UI 和一个同步计划。

    【讨论】:

    • 您好 Greg,数据共享是否能够支持增量类型的数据,我上面提到的场景是否能够实现此服务。 & 成本明智,ADF 或 Azure 数据共享更便宜。数据大小为 1TB(包括 ADLS gen2 中的文件、文件夹)。我不知道这项服务你能回答这些问题吗?这对我很有帮助。我的主要方法是使用 ADF,但数据共享能够处理增量数据并且比 ADF 便宜,然后我可以说服我的客户使用该服务。
    • @anuj 是的。请参阅此处提到的增量:docs.microsoft.com/en-us/azure/data-share/terminology
    • 您可以转到 Azure 数据共享定价页面了解模型。但是您可能必须尝试一下才能了解准确的成本。我不确定哪一个对您的数据集更便宜。
    【解决方案2】:

    您可以使用元数据活动来获取目标文件夹的 lastModified。

    • 在 Copy 活动中,将动态内容放入 按上次修改过滤:开始时间字段。从 Metadata 活动中选择 lastModified 字段输出。

    只会复制源中比目标的 lastModified 更新的文件。

    元数据活动的成本只是一分钱的一小部分。

    【讨论】:

    • 你好 Jason 我试过像 get metadata -->dataset (sa02) --> copyactivity source sa01 in that start time (utcnow()) end time(@activity('Get Metadata1').output )。我得到以下错误
    • "Code": 11101, "Message": "ErrorCode=UserErrorInvalidValueInPayload,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=无法将 'modifiedDatetimeEnd' 属性中的值转换为 ' System.Nullable`1[[System.DateTime, mscorlib, Version=4.0.0.0, Culture=neutral, PublicKeyToken=b77a5c561934e089]]'类型。请确保payload结构和值正确。,Source=Microsoft.DataTransfer.DataContracts ,''
    • 如果我理解正确,那么您希望 sa01 中的文件比 sa02 中的最新文件更新。因此,在复制活动中,开始日期是 sa02 (getMetadata('myname'),output.lastModified) 中的最新日期,结束日期是 utcnow() (或者如果您可能在管道运行期间添加更多文件,那么更好地使用管道()。触发时间)。您错过了元数据输出中的 .lastModified - 此页面很有用 docs.microsoft.com/en-us/azure/data-factory/…
    猜你喜欢
    • 2015-10-02
    • 2021-06-27
    • 1970-01-01
    • 2021-08-25
    • 1970-01-01
    • 2016-11-25
    • 2020-03-29
    • 2022-01-11
    • 1970-01-01
    相关资源
    最近更新 更多