Nifi 内容存储库没有清理并随着时间的推移不断积累

Question

Nifi 内容存储库在重新启动后的一段时间内与 Nifi 状态栏同步工作，Nifi 版本 1.9.1。 之后，它开始逐渐增长，只有在重新启动时才会再次下降。

我混合了大小文件，并且正在合并文件以在流程中创建大文件。 我可能遇到了一个错误https://issues.apache.org/jira/browse/NIFI-6150，它可能不适用于以下三种情况：

1) 有小文件和大文件。

2) 合并小文件以创建大文件。我有一些大文件，只有在重新启动后才能使用。

3) 在流文件离开流后，合并内容不会失败地保留流文件数天。

此 Nifi 的数据流为每天 24 TB，并且重新启动会导致巨大的延迟。 另外，我已经反编译并看到了修复代码。

Answer 1

目前尚不清楚您运行的是哪个版本的 NiFi，但首先我建议您立即获取最新版本 (1.11.4)。如果您按照暗示以 290MB/秒的速度运行，那么希望这是在一个小型节点集群或一个配置良好且资源充足的节点上。

但正如 JIRA 中所述，您需要一个具有该修复程序的版本，并且可能需要另一个版本以实现最佳行为。