线程队列进程

Question

我正在使用 C# .Net4.0 在 Visual Studio 2010 中构建这个程序 目标是使用线程和队列来提高性能。

我有一个需要处理的网址列表。

string[] urls = { url1, url2, url3, etc.} //up to 50 urls

我有一个函数可以接收每个 url 并处理它们。

public void processUrl(string url) { 
    //some operation
}

最初，我创建了一个 for 循环来遍历每个 url。

for (i = 0; i < urls.length; i++)
    processUrl(urls[i]);

该方法有效，但程序很慢，因为它一个接一个地通过 url。

所以想法是使用线程来减少时间，但我不太确定如何处理。

假设我想创建 5 个线程同时处理。

当我启动程序时，它将开始处理前 5 个 url。完成后，程序开始处理第 6 个 url；当另一个完成时，程序开始处理第 7 个 url，依此类推。

问题是，我不知道如何实际创建 url 的“队列”并能够通过队列和处理。

谁能帮我解决这个问题？

-- 下午 1:42 编辑--

我在同时运行 5 个进程时遇到了另一个问题。

processUrl 函数涉及写入日志文件。如果多个进程同时超时，它们会同时写入同一个日志文件，我认为这会引发错误。

我假设这是问题所在，因为我收到的错误消息是“该进程无法访问文件 'data.log'，因为它正被另一个进程使用。”

Answer 1

最简单的选择是只使用Parallel.ForEach。如果processUrl 是线程安全的，你可以这样写：

Parallel.ForEach(urls, processUrl);

我不建议限制为 5 个线程（调度程序会自动正常扩展），但这可以通过以下方式完成：

Parallel.ForEach(urls, new ParallelOptions { MaxDegreeOfParallelism = 5}, processUrl);

话虽如此，从本质上讲，URL 处理通常受 IO 限制，而不是 CPU 限制。如果您可以使用 Visual Studio 2012，更好的选择是重新设计它以使用该语言中新的 async 支持。这需要将您的方法更改为更像：

public async Task ProcessUrlAsync(string url)
{
    // Use await with async methods in the implementation...

然后您可以在循环中使用新的async 支持：

// Create an enumerable to Tasks - this will start all async operations..
var tasks = urls.Select(url => ProcessUrlAsync(url));

await Task.WhenAll(tasks); // "Await" until they all complete

Answer 2

使用 Parallel Foreach 并将最大并行度设置为您想要的线程数（或将其留空并让 .NET 为您完成工作）

ParallelOptions parallelOptions = new ParallelOptions();

parallelOptions.MaxDegreeOfParallelism = 5;
Parallel.ForEach(urls, parallelOptions, url =>
{
   processUrl(url);
});

Answer 3

如果您真的想创建线程来完成您的任务而不是使用并行执行：

假设我希望每个 URL 有一个线程：

string[] urls = {"url1", "url2", "url3"};

我只是为每个 URL（或每个 5 个 URL）启动一个新的 Thread 实例：

foreach (var thread in urls.Select(url => new Thread(() => DownloadUrl(url))))
    thread.Start();

以及下载网址的方法：

private static void DownloadUrl(string url)
{
    Console.WriteLine(url);   
}