【问题标题】:Find the number of files available in Azure data lake directory using azure data factory使用 azure 数据工厂查找 Azure 数据湖目录中可用的文件数
【发布时间】:2020-02-14 12:13:37
【问题描述】:

我正在开发一个管道,其中我们的数据源是存储在 Azure 数据湖中的 csv 文件。我能够使用获取元数据和每个活动来处理所有文件。现在我需要查找 Azure 数据湖中可用的文件数量吗?我们怎样才能做到这一点。我在获取元数据活动中找不到任何 itemcount 参数。我注意到 For each 活动的输入包含一个 itemscount 值。有没有办法访问这个?

问候, 桑迪普

【问题讨论】:

  • 您是如何分析这些元数据的?您能否将 Activity 的 JSON 添加到您的问题中?另外,为什么你需要知道有多少个文件?拥有该号码后,您将如何处理?
  • 嗨,戴夫,我需要将信息记录到 sql server 表中。因为它将帮助我们更好地了解源数据。现在我正在旅行,需要 2 天的时间来分享 json。 + 桑迪普

标签: azure-data-factory azure-data-lake


【解决方案1】:

既然 child_items Get Metadata 活动的输出是一个对象列表,为什么不直接获取这个列表的长度呢?

@{length(activity('Get Metadata1').output.childItems)}

【讨论】:

    猜你喜欢
    • 2021-06-22
    • 1970-01-01
    • 2020-07-06
    • 2020-08-21
    • 1970-01-01
    • 2020-01-24
    • 2023-03-25
    • 1970-01-01
    • 2020-12-31
    相关资源
    最近更新 更多