【问题标题】:how can we have dynamic output file name in u-sql in azure data lake based on timestamp job is excuted我们如何根据时间戳作业在 azure 数据湖中的 u-sql 中获得动态输出文件名
【发布时间】:2016-06-23 10:16:26
【问题描述】:

我们如何在作业执行时根据时间戳在 azure 数据湖中的 u-sql 中动态输出文件名。感谢帮助。我的代码如下:

 OUTPUT @telDataResult
    TO 
    @"wasb://blobcontainer@blobstorage.blob.core.windows.net/**yyyymmdd**_TelDataOutput.Csv"

    USING Outputters.Csv(); 

【问题讨论】:

  • 如果我们使用相同的输出文件名(静态名称)一次又一次地运行 u-sql 作业,那么作业会覆盖文件数据还是会给出错误“文件已存在”或者是将在同一个文件中追加数据。请尽快告诉我。

标签: azure-data-lake u-sql


【解决方案1】:

此功能目前正在开发中,但尚不可用。随时为功能请求添加您的投票:https://feedback.azure.com/forums/327234-data-lake/suggestions/10550388-support-dynamic-output-file-names-in-adla

一旦它可用,您将在 EXTRACT 上执行文件集语法的逆操作。假设您的行集@res 中有一个名为eventdate 的列。然后下面的OUTPUT 语句将生成文件:

OUTPUT @res
TO "/{eventdate:yyyy}/{eventdate:MM}/{eventdate:dd}/result.csv"
USING Outputters.Csv();

【讨论】:

    猜你喜欢
    • 2017-07-26
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2022-01-02
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多