【问题标题】:azure data factory copy activity pick only first 100 filesazure 数据工厂复制活动仅选择前 100 个文件
【发布时间】:2021-01-20 06:54:52
【问题描述】:

我想使用 Azure 数据工厂将文件从一个 blob 帐户复制到另一个 blob。但是我的源 blob 有 25k + 文件 (XML)。我只想复制 100 个文件进行初始测试。

如何实现?

【问题讨论】:

  • 前 100 个文件?还是最新的 100 个文件?
  • 任何...我只是想测试一下。
  • 它可以通过许多活动来实现,并且可能很复杂而不是直接。可以吗?
  • 目前,我正在使用通配符,这样我就不会选择所有文件。如果有类似的东西会有所帮助。
  • 另外一个问题,文件是有相同的命名规则还是随机命名的?

标签: azure-data-factory


【解决方案1】:

您可以使用 AzCopy 指定要复制的选定文件,或者如果您只想测试您的管道然后创建另一个容器,仅放置几个文件,然后将您的 ADF 指向新容器以测试您的管道。

如果您需要使用 AzCopy,可以找到更多信息 here

【讨论】:

  • 嗨@Amit:如果我的回复对您有所帮助,您能否将其标记为答案,以便我们可以让社区中的其他人从中受益:)。谢谢!
猜你喜欢
  • 2022-01-04
  • 1970-01-01
  • 2021-07-02
  • 2020-12-13
  • 2020-09-15
  • 2021-06-10
  • 2020-08-14
  • 1970-01-01
  • 2017-07-28
相关资源
最近更新 更多