【发布时间】:2020-06-29 06:59:57
【问题描述】:
我正在使用 NiFi,在同一个文件中接收多个 json。假装正确地修改了这些 json,我将其拆分为几个单独的流文件,这就是问题开始的地方。
对于每个 id 和 datetime,我想将 3 个流文件合并到一个流文件中。我尝试使用 MergeRecord NiFi 的处理器,但 它可以在需要时工作。当我有一些记录时,它似乎工作正常。但是当我有“很多”记录时,例如,超过 70 条记录,它就会中断。有时它将两条记录合并为一条记录,有时它允许直接传递一条记录。
merge_key 是一个基于 id 和 datetime 的字符串属性。
我需要恰好取 3 条记录并将它们合并为一条。
如果有办法订购流文件并每 5 秒获取它的前 n 个元素,我认为它会有所帮助。但我更愿意确保它在没有任何“帮助”的情况下正常工作......
【问题讨论】:
标签: apache-nifi