需要维护秩序的多线程作业

Question

我有一个 c/c++ 进程，它有一个很长的队列，这个队列中的每个元素都需要 发送到多个（TCP）服务器。单线程是一个可行的选项，但它很慢。

我需要实现一个多线程解决方案。我的进程事先不知道编号 服务器。第一个想法是为每个服务器创建一个线程。管理器线程读取 队列中的新元素找到目的地并分派到与目的地匹配的线程。

一个重要的注意事项。工作可能是依赖的。如果job_5没有完成，我不想执行job_10。需要维持秩序。

首先，我想听听您对这个问题的看法。其次，我正在寻找 C++ 实现以供参考。第三，我正在寻找描述类似问题的书籍/资料。

Answer 1

你看过boost asio吗？它支持“线程池”的概念，因此您可以使用一个线程池异步处理大量连接，而不是每个服务器一个线程（即同步）。性能也不错...

Answer 2

您是如何得出需要多线程解决方案的结论的？当您说您的单线程解决方案“慢”时，您是什么意思？您的意思是在将项目发送到服务器时会阻止其他处理（可能是 UI 的东西？）？还是整个过程耗时太长？

您对这个问题的描述含糊不清：每个项目都需要发送到所有服务器，还是只发送到一个服务器？好像只有一个，但我不确定。如果一定要发送给所有人，那么多线程解决方案的复杂性会大大增加。

您是否可以在发送项目后从队列中删除它，或者您是否需要等待服务器的确认？如果您必须等待，那么您的队列管理将变得棘手 - 在项目被确认之前您无法删除该项目，因此您必须以某种方式将其标记为待处理，并且从队列中选择下一个项目的线程将需要以确保它不会选择待处理的项目。当项目成功发送后，它必须从队列中移除，这意味着对队列的并发写访问。

您如何处理错误？如果一个项目无法发送，它会留在队列中以供以后重试，还是移动到失败列表中，还是只是记录并丢弃？在多线程系统中，您将异步了解故障，这意味着对错误处理过程的并发写访问。

你说你的进程事先并不知道有多少台服务器。这个数字在处理过程中可以改变吗？

无论如何都要研究多线程，但您可能会发现“慢速”单线程解决方案最能满足您的业务需求 - 易于实施且可靠。如果没有，那么希望其中一些问题对您有所帮助。