如何识别 azure blob 输入数据集中的文件模式答案

【问题标题】：How to recognize file pattern in azure blob input dataset如何识别 azure blob 输入数据集中的文件模式
【发布时间】：2018-09-22 05:04:49
【问题描述】：

这是我的文件模式：adm_domain_20180401、adm_domain_20180402，这些来自一个特定的来源。同一文件夹还包含 adm_agent_20180401、adm_agent_20180402。我只想将文件从 blob 复制到带有前缀 adm_domain 的 ADL，有没有办法在输入数据集中定义文件模式？

数据集：

{ "name": "CgAdmDomain", “特性”： { “已发布”：错误， “类型”：“AzureBlob”， "linkedServiceName": "flk_blob_dev_ls", “类型属性”：{ "folderPath": "传入/{日期}/", “格式”： { “类型”：“文本格式” }, “分区”：[ { “名称日期”， “价值”： { “类型”：“日期时间”， “日期”：“切片开始”， “格式”：“yyyyMMdd” } } ] }, “可用性”： { “频率”：“分钟”， “间隔”：15 }, “外部”：是的， “政策”： {} } }

【问题讨论】：

标签： azure azure-data-factory

【解决方案1】：

您使用的是 ADF V1 还是 V2？我们正在努力在 ADF V2 中添加文件名通配符支持。

【讨论】：

我们使用的是ADF V1，如何在ADF V1中定义文件模式？

【解决方案2】：

fileFilter 不适用于Azure Blob Storage。如果您在本地查看文件，则可以通过指定一个过滤器来实现此目的，该过滤器用于选择 folderPath 中的文件子集而不是所有文件 - link

要单独为 Azure Blob Storage 实现此目的，请使用 Azure Data Factory 自定义活动。通过自定义代码 (.NET) 实现逻辑并将其作为流水线中的活动。有关如何使用自定义活动的更多信息 - further reading。

【讨论】：