HttpClient (C#) 在许多异步请求上失败？

Question

我正在使用 HttpClient 异步向外部 api 发出许多请求。我等待所有请求完成，然后在其他代码中使用响应。我的问题是，如果我发出太多请求，当我使用 Task.WhenAll 等待时，我的代码会抛出异常。

此代码最终将并行运行，我的意思是我将同时执行多组这些异步请求（即 10 组 200 个异步请求）。我已经实例化了一个与 .NET 4.5 async/await 修饰符一起使用的 HttpClient，如下所示：

using (var client = new HttpClient())
{
    // make a list of tasks
    List<Task<HttpResponseMessage>> taskList;
    List<MyData> replies;
    for (int i = 0; i < MAX_NUMBER_REQUESTS; i++)
    {
        taskList.Add(client.GetAsync(externalUri);
    }

    List<HttpResponseMessage> responses = await Task.WhenAll(taskList);

    // read each response after they have returned
    foreach (var response in responses)
    {
        var reader = new System.IO.StreamReader(await response.Content.ReadAsStreamAsync());
        replies.Add(JsonConvert.DeserializeObject<MyData>(reader.ReadToEnd()));
        reader.Close();
} 

    foreach (var reply in replies)
    {
        // do something with the response from the external api call...
    }
}

我不断收到 TaskCanceledException。在调查了这个之后，我发现这可能是一个超时问题。我不知道如何解决它。在使用 Task.WhenAll 并重复之前，我尝试将我的请求批处理为 100 个请求，这很有效。然后，当我与三组 100 个失败的请求并行运行时。我错过了什么吗，有人对此有任何见解吗？

Answer 1

调整ServicePointManager.DefaultConnectionLimit。对于大量并发请求，您可以将其设置为int.MaxValue。

Answer 2

TaskCanceledException 可能是由于您的HttpClient 在您的相关请求完成之前被处置。我怀疑给您异常的代码与您发布的示例不同，因为它不会编译？

对于最多 2000 个请求，以下内容对我来说很好：

using (var client = new HttpClient())
{
    List<Task<HttpResponseMessage>> taskList = new List<Task<HttpResponseMessage>>();
    List<MyData> replies = new List<MyData>();
    for (var i = 0; i < MAX_NUMBER_REQUESTS; ++i)
    {
        taskList.Add(client.GetAsync(externalUrl));
    }
    var responses = await Task.WhenAll(taskList);

    foreach (var m in responses)
    {
        using (var reader = new StreamReader(await m.Content.ReadAsStreamAsync()))
        {
            replies.Add(JsonConvert.DeserializeObject<MyData>(reader.ReadToEnd()));
        }
    }

    foreach (var reply in replies)
    {
        // TODO:        
    }
}

因此，您可能还遇到了一些其他问题，即您没有提供足够的细节让任何人都知道。

除了我使用Parallel.ForEach 评论过的问题之外：ForEach 被阻止，因此您的 UI 将被阻止。