【问题标题】:How to skip first n rows in U-SQL job?如何跳过 U-SQL 作业中的前 n 行?
【发布时间】:2018-05-17 07:56:05
【问题描述】:

我想运行 U-SQL 作业以从 Azure Data Lake 存储上的 SQL 表中的 .txt 文件加载数据。我已经在 Azure 数据湖分析中创建了数据库、架构和表。

txt 文件中的数据是制表符限制的,我需要跳过 2 第一行。我认为我应该使用Extractors.Text() 内置提取器,但是如何在其中添加skipFirstNRows 参数来提取数据?

【问题讨论】:

    标签: azure azure-data-lake u-sql


    【解决方案1】:

    你只需像这样将它传递给提取器:

    @searchlog =
     EXTRACT UserId          int,
             Start           DateTime,
             Region          string,
             Query           string,
             Duration        int?,
             Urls            string,
             ClickedUrls     string
     FROM "/Samples/Data/SearchLog.tsv"
     USING Extractors.Tsv(skipFirstNRows: 2);
    

    我的示例基于 TSV 提取器,因为它默认使用制表符作为分隔符。

    (source)

    【讨论】:

    • 我正在尝试以下操作:USING Extractors.Text('\t', skipFirstNRows = 2);应该使用“..skipFirstNRows : 2”
    • 啊,可以理解但可选参数确实使用:而不是=
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2021-02-18
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2022-12-06
    • 1970-01-01
    • 2020-06-03
    相关资源
    最近更新 更多