我想根据行数使用U-SQL输出多个文件

【问题标题】：I want to output multiple files using U-SQL according to the number of rows我想根据行数使用U-SQL输出多个文件
【发布时间】：2017-07-24 11:05:30
【问题描述】：

我想在U-SQL中根据行数将单个表输出到多个文件中。

如果我的表有 500 行，那么我必须在每个文件中生成 5 个文件或 100 行。

关注帖子U-SQL Output in Azure Data Lake

【问题讨论】：

我很乐意提供帮助。这可能是您正在寻找的？ stackoverflow.com/questions/42636855/…
但是在帖子中他们没有给出“/output/genscript.usql”的脚本。
您在帖子中看到的脚本会生成该脚本。然后您必须下载并运行它。

标签： output azure-data-lake u-sql

【解决方案1】：

为了根据行数生成单独的文件，您必须为每一行添加一个ROW_NUMBER()。然后生成一个为每个行区域创建输出语句的脚本（例如使用 U-SQL，参见 U-SQL Output in Azure Data Lake 作为示例）。请注意，脚本生成文件可能使用带有SELECT COUNT(*) FROM @data 的内连接来生成正确数量的OUTPUT 语句。此外，您希望生成脚本中的第一条语句将 ROW_NUMBER() 添加到您随后输出的行集中。

生成执行此操作的脚本后，您可以下载并提交它。

【讨论】：

更“正确”的方法是在与 1 条记录相同的工作单元中创建工作吗？这样就不会与 row_number 函数等混淆？