websocket向kafka发送一个nifi集群消息，没有重复

Question

在我正在进行的当前项目中，我使用一个水槽服务器来启动与发送事件的 socket-io websocket 的连接，当使用消息时它将它们写入 kafka 主题。 我想使用带有 ConnectWebSocket 处理器的 nifi 集群来使用来自 websocket 的消息，最后将它们插入到 kafka 主题中。 由于集群中多个代理处理同一事件，nifi 集群是否会导致主题中出现重复消息？ 在此先感谢:)

Answer 1

检查后，我发现使用默认配置会有重复，因为所有节点都会执行相同的过程。 但是有一个选项可以将 ConnectWebSocket 调度配置为仅执行主节点，如果它由于某种原因关闭，另一个节点将代替执行工作。 这解决了我的问题，以便以稳定的方式只编写一次事件。