【问题标题】:How to use wildcards in filename in AzureDataFactoryV2 to copy only specific files from a container?如何在 AzureDataFactoryV2 的文件名中使用通配符来仅复制容器中的特定文件?
【发布时间】:2020-02-28 20:58:49
【问题描述】:

所以我在 AzureDataFactoryV2 中有一个管道,在该管道中我定义了一个 copyActivity 来将文件从 blob 存储复制到 Azure DataLake Store。但我想复制除包含“-2192-”字符串的文件之外的所有文件。

如果我有这些文件:

213-1000-aasd.csv
343-2000-aasd.csv
343-3000-aasd.csv
213-2192-aasd.csv

我想使用 copyactivity 复制所有内容,而不是 213-2192-aasd.csv。我尝试在通配符选项中使用不同的正则表达式,但没有成功。

据我所知,正则表达式应该是: [^-2192-].csv

但它给出了错误。 谢谢。

【问题讨论】:

    标签: copy wildcard pipeline azure-data-factory-2


    【解决方案1】:

    不知道数据工厂表达式语言是否支持Regex。假设不是,通配符可能只是正匹配,因此通配符排除特定模式似乎不太可能。

    您可以做的是使用 1) 获取元数据以获取 blob 文件夹中的对象列表,然后 2) 过滤器,其中 item().type 为“文件”,索引为“-2192-”文件名

    【讨论】:

      猜你喜欢
      • 2022-01-07
      • 1970-01-01
      • 1970-01-01
      • 2018-09-22
      • 1970-01-01
      • 2015-03-29
      • 1970-01-01
      • 1970-01-01
      • 2019-06-05
      相关资源
      最近更新 更多