NiFi：将流文件均匀地路由到不同的处理器

Question

我正在尝试使用 NiFi 的 PutCassandraRecord 将数据输入到 3 个节点的 Cassandra 集群（提供所有 3 个节点地址到 PutCassandraRecord）。我获得的吞吐量不足以满足我的工作负载，因此我使用 3 个不同的 PutCassandraRecord 处理器进行测试，并为每个处理器提供 1 个节点地址。我能够在这条路线上获得更大的吞吐量。

我的问题是我可以将传入流文件的数量平均分配给 3 个或更多不同的处理器吗？更具体地说，我正在使用 ListenHTTP 来监听传入的数据，并且我想将传入的数据平均拆分到 3 个不同的 PutCassandraRecord 处理器

我正在运行 NiFi 1.9.2

Answer 1

您可以将 DistributeLoad 处理器与循环分发一起使用。

另外，您可以尝试使用单个 PutCassandraRecord 处理器，但将处理器的并发任务从 1 个增加到 3 个。这应该类似于拥有 3 个单独的处理器，但我对 Cassandra 一无所知，所以我不知道不知道指定所有节点与只指定一个节点之间的区别。