合并数据湖存储中的文件

Question

我有一个包，每天将文件导入数据湖存储。所以这是具有不同值（相同列等）的同一个文件。我的想法是将这些文件合并到 Data Lake 上的单个文件中，以生成月度报告。我想调查 U-SQL，所以我的问题是：
这可能与 U-SQL 有关吗？
如果不可能，还有其他选择吗？

Answer 1

很容易合并两个文件中的记录并写入一个新文件。以下是步骤

1. 使用 EXTRACT 读取所有新文件
2. 使用EXTRACT读取当前主文件的所有记录
3. 使用 UNION ALL 合并记录：https://msdn.microsoft.com/en-us/library/azure/mt621340.aspx
4. 使用 OUTPUT 语句将输出写入主文件

如需快速 U-SQL 教程，请访问此处：https://docs.microsoft.com/en-us/azure/data-lake-analytics/data-lake-analytics-u-sql-get-started