NiFi 使用 MergeRecord 合并 CSV 文件答案

【问题标题】：NiFi merge CSV files using MergeRecordNiFi 使用 MergeRecord 合并 CSV 文件
【发布时间】：2019-05-14 20:35:52
【问题描述】：

我有一个 JSON 记录流，我使用 this 指令成功地将其转换为 CSV 记录。但现在我想将此 CSV 记录合并到一个 CSV 文件中。以下是该流程：

在第 5 步，我面对大约 9K 的 csv 记录，如何使用 MergeRecord 处理器将其合并到一个 csv 文件中？

我的 csv 标头：

field1,field2,field3,field4,field5,field6,field7,field8,field9,field10,field11

其中一些字段可能为空并且记录不同。

【问题讨论】：

是否需要将其合并到一个文件中？这不是一个好方法，IMO。如果没有，请通过nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/…。 Minimum Number of Records 和 Maximum Number of Records 是最终决定合并方式的人。
@sivaprasanna-sethuraman 不完全是一个文件，一个文件遵循合并策略（如：装箱算法）
请试一试，看看有没有按预期工作。
@sivaprasanna-sethuraman 显然我试试这个处理器；记录读取器：csvreader 和写入器：CSVRecordSetWriter；然后使用我在 json2csv 转换中使用的默认属性和相同的架构，我面临这个错误：“无法将架构名称写为属性，因为架构名称未知合并 csv”
配置CsvRecordSetWriter控制器服务和Schema Write Strategy到Do not write schema

【解决方案1】：

在此使用 UpdateAttribute 之后对其进行配置，以便它可以使用文件名保存文件，然后使用 putFile 将其存储到特定位置

【讨论】：