在 Nifi 中多次拆分后合并 Json

【问题标题】：Merge Json after several splits in Nifi在 Nifi 中多次拆分后合并 Json
【发布时间】：2019-05-06 11:37:34
【问题描述】：

我多次拆分我的 Json 以避免 OOM 错误。我已经放置了一个等待处理器来等待我的所有记录使用合并内容。每个FF都被赋予了原始文件行数的属性。

等待处理器应该让 FF 处于等待状态，直到通知将计数器增加到总行数。

但是，我的等待处理器似乎没有将我的 FF 放入等待队列（它没有显示，但有）。

这种平静的流动有什么问题吗？

【问题讨论】：

显示等待处理器的参数。如果您使用的是 MergeContent - 您不需要等待。
是的，我应该需要，因为我进行了多次拆分，最终合并只连接小块，因为它需要相同的片段 id

标签： json bigdata apache-nifi data-processing

【解决方案1】：

您可以在每次拆分后使用 UpdateAttribute 进行多次合并，以将 fragment.* 属性保存为不同的东西，可能是 fragment1.*、fragment2.* 等。然后您可以在每个之前使用 UpdateAttribute 以相反的顺序恢复它们中的每一个合并，将fragment.* 设置为fragment2.* 属性，然后是MergeContent，然后将fragment.* 设置为fragment1.* 属性，然后是MergeContent，等等。

【讨论】：