【问题标题】:How to fetch records count from Azure data lake analytics files (File like txt and CSV )如何从 Azure 数据湖分析文件(txt 和 CSV 等文件)中获取记录计数
【发布时间】:2018-06-23 09:26:49
【问题描述】:

adl://rs06ipadl01.azuredatalakestore.net/FIA/RDS/old/BANNER/2018/06/15/old_Banner.csv

我需要从上面的文件中获取记录。

【问题讨论】:

    标签: analytics azure-data-lake


    【解决方案1】:

    您可以使用.Csv.Text 等内置提取器来获取文件内容,然后使用COUNT 来统计记录。一个简单的例子:

    DECLARE @inputFile string = @"input/input124.csv";
    DECLARE @outputFile string = @"output/output.csv";
    
    // Get the file
    @input =
        EXTRACT col1 string,
                col2 string,
                col3 int
        FROM @inputFile
        USING Extractors.Csv( skipFirstNRows:1 );     // skip header row if you have one
    
    
    // Count the records
    @output = SELECT COUNT(*) AS records FROM @input;
    
    
    // Output the result
    OUTPUT @output
    TO @outputFile
    USING Outputters.Csv(quoting:false);
    

    【讨论】:

    • 如何从 Azure 数据湖分析文件(txt 和 CSV 等文件)中获取列数
    • 如果对您有用,请将问题标记为已回答。
    • 嗨 Ramesh,这是一个单独的问题。请将此标记为已回答并打开第二个。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2022-08-21
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多