每个间隔处理 x 个线程

Question

我有一个使用另一个系统的 API 的方法。我的系统在数据列表上运行，并为列表中的每个项目创建一个线程，向其他系统发出请求。 只有一个问题，另一个系统每次可以处理 x 数量的请求。 例如，每 2 分钟处理 5 个请求。 实施它的最佳实践是什么？假设我只想遍历列表一次。

为了更清楚，假设我通过互联网访问一些服务，该服务允许我每 2 分钟发送 5 个请求，我有一个 1000 行的 xml，每行是我想读取这个 xml 的请求并发送请求，但我不希望其他系统拒绝我我想每 2 分钟发送 5 个请求。 谢谢。

Answer 1

您可以通过多种方式做到这一点。也许最简单的方法是在调用之间执行Thread.Sleep() 的单线程。

每 2 分钟 5 个请求相当于每 24 秒 1 个请求。所以你可以写：

while (requests remaining)
{
    make next request
    Thread.Sleep(TimeSpan.FromSeconds(24));
}

这实际上每 24 秒给你一个请求加上请求时间。如果您希望它恰好是 24 秒，则必须计算发出请求所需的时间，并从延迟中减去。

你会这样做：

while (requests remaining)
{
    var sw = Stopwatch.StartNew();
    make next request
    sw.Stop();
    var sleepTime = 24000 - sw.ElapsedMilliseconds;
    Thread.Sleep(sleepTime);
}        

另一种方法是使用计时器。这使您不必一直等待线程。创建一个周期为 24 秒的 System.Threading.Timer，并让回调方法执行请求。

这两种技术都可以防止您过快地发出请求，而且它们很容易编写代码。

Answer 2

您不妨考虑使用Parallel.ForEach 来遍历列表。

您还应该将MaxDegreeOfParallelism 设置为5 到limit the number of threads。

您还需要根据您的要求（手动）跟踪每 2 分钟的通话次数。最简单的方法是将每个请求的开始DateTime 存储在ConcurrentLimitedCollection<DateTime> 中。如果是ConcurrentLimitedCollection.CurrentSize == 5，那么您将需要验证第一个条目是否至少在过去 2 分钟内。

ConcurrentLimitedCollection 可用here。