Azure 数据工厂按文件夹合并镶木地板文件答案

【问题标题】：Azure Data Factory merge parquet files by folderAzure 数据工厂按文件夹合并镶木地板文件
【发布时间】：2020-06-16 14:06:51
【问题描述】：

我有一个 ADLS Gen2 帐户（已启用 HNS），其中包含以下格式的镶木地板文件：

-MainFolder
 -SubFolder 1
 -SubFolder 2
   -Year
   -Month
   -Day
     -Parquet file 01
     -Parquet file 02
     -...

我想使用 Azure 数据工厂将最底层的 parquet 文件合并为一个文件，最终结构应该是这样的。

-MainFolder
 -SubFolder 1
 -SubFolder 2
   -Year
   -Month
   -Day
     -Merged Parquet File

如果我使用“复制数据”活动，我只能在“合并文件”和“保留 Hiracie”之间进行选择。有没有办法做到这一点？感谢您的帮助！

【问题讨论】：

【解决方案1】：

如果在复制活动中合并文件不适合您，您可以使用数据流，并且联合转换可以将多个文件组合成单个文件输出。

【讨论】：

您能详细说明一下吗？
假设您的文件夹中有 2 个文件要合并为 1 个文件。在数据流中设置 2 个源转换，每个文件 1 个，使用 Union 将它们组合在一起，并在 Sink 转换中输出到一个新的组合单个文件。