【问题标题】:U-SQL How can I get the current filename being processed to add to my extract output?U-SQL 如何获取正在处理的当前文件名以添加到我的提取输出?
【发布时间】:2016-12-06 15:25:05
【问题描述】:

我需要添加有关正在处理的行的元数据。我需要将文件名添加为列。我查看了 Git 存储库中的救护车演示,但不知道如何实现。

【问题讨论】:

    标签: u-sql


    【解决方案1】:

    您使用了称为“文件集”和“虚拟列”的 U-SQL 功能。在我的简单示例中,我的输入目录中有两个文件,我使用文件集并引用 EXTRACT 语句中的虚拟列,例如

    // Filesets, file set with virtual column
    @q =
        EXTRACT rowId int,
                filename string,
                extension string
        FROM "/input/filesets example/{filename}.{extension}"
        USING Extractors.Tsv();
    
    
    @output =
        SELECT filename,
               extension,
               COUNT( * ) AS records
        FROM @q
        GROUP BY filename,
                 extension;
    
    
    OUTPUT @output TO "/output/output.csv"
    USING Outputters.Csv();
    

    我的结果:

    在此处阅读有关这两个功能的更多信息:

    https://msdn.microsoft.com/en-us/library/azure/mt621320.aspx

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2017-08-05
      • 1970-01-01
      • 2011-08-22
      • 2017-02-20
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多