【问题标题】:Delete specific file types from Azure Blob Storage in Azure Data Factory从 Azure 数据工厂中的 Azure Blob 存储中删除特定文件类型
【发布时间】:2021-02-03 07:44:54
【问题描述】:

我的管道包含将数据从文件系统复制到 Blob 存储。有 2 种文件类型,即 .jpeg 和 .json。我想将它们放在 Blob 存储中的单独文件夹中,以便以后管理它们。因此,我有 2 个复制活动:

  • 复制json文件,这个没有问题,只会复制json文件类型
  • 复制二进制文件类型,我需要使用二进制,因为我要复制的类型类型是jpeg。对于此活动,在我复制到 blob 文件夹后,我添加了删除活动后尝试删除此文件夹中的 json 文件。

删除活动的来源是我刚刚将二进制文件复制到的 blob 中文件夹的位置。然后,我指定只获取 JSON 文件 (*.json),如下所示:

我的管道成功运行。但是,没有从 blob 中的该位置删除任何文件。你能告诉我我做错了什么吗?或者,如果您对以不同方式管理这些文件有更好的想法,请告诉我。提前谢谢你。

【问题讨论】:

  • 你的意思是要在将json复制到sink后删除source中的json文件?
  • @Bowman Zhu 是的,因为我的复制数据活动将源文件类型指定为二进制,因为它是复制 jpeg 文件的唯一方法,因此也有 json 文件被复制。和;我想在复制后删除它们。

标签: azure-data-factory delete-file


【解决方案1】:

我找到了解决方案,我需要添加 *.json 作为删除活动源的通配符文件名。

【讨论】:

    猜你喜欢
    • 2016-08-13
    • 2019-01-15
    • 2020-12-22
    • 2016-08-30
    • 2021-11-25
    • 2017-11-29
    • 2019-07-17
    • 2021-12-27
    • 2020-07-22
    相关资源
    最近更新 更多