使用 Node.js/python 的 Producer/Consumer + Worker 架构

Question

我们有 2 个组件，1 个生产者/消费者，2 个进程

Producer/Consumer 是 i/o 激励，只是接受 web 请求并根据输入参数进入 mongodb。

进程是单独的进程（在 python 中），它处理来自 mongodb 的数据并将它们分组（配对）。

这种配对需要很少的时间，一旦配对完成，我们想通知节点对于给定的连接，“处理完成”，因此节点可以将数据发送回客户端。

我不确定“如何通知 Node 的连接该过程已完成，这是输出。”

Answer 1

我会使用 RabbitMQ 甚至 ZeroMQ 等消息传递服务来通知或让 Node.JS 进程轮询此通知。

所以，Python 进程会执行它的处理，然后它会发送一条消息，Node.JS 进程会从那里读取此消息，然后知道它可以完成它的工作并处理 MongoDB 中的数据。