添加间隔时 HttpWebRequest 变慢答案

【问题标题】：HttpWebRequest gets slower when adding an Interval添加间隔时 HttpWebRequest 变慢
【发布时间】：2012-07-06 21:48:21
【问题描述】：

测试下载网页源的不同可能性我得到了以下结果（以毫秒为单位的平均时间到 google.com，9gag.com）：

普通 HttpWebRequest: 169, 360
Gzip HttpWebRequest: 143, 260
WebClient 获取流：132、295
WebClient 下载字符串：143, 389

所以对于我的 9gag 客户端，我决定采用 gzip HttpWebRequest。问题是，在我的实际程序中实现后，请求花费了两倍以上的时间。
仅在两个请求之间添加 Thread.Sleep 时也会出现问题。

编辑：
只是稍微改进了代码，仍然是同样的问题：在循环中运行时，当我在请求之间添加延迟时，请求需要更长的时间

for(int i = 0; i < 100; i++)
{
    getWebsite("http://9gag.com/");
}

每个请求大约需要 250 毫秒。

for(int i = 0; i < 100; i++)
{
    getWebsite("http://9gag.com/");
    Thread.Sleep(1000);
}

每个请求大约需要 610 毫秒。

    private string getWebsite(string Url)
    {
        Stopwatch stopwatch = Stopwatch.StartNew();

        HttpWebRequest http = (HttpWebRequest)WebRequest.Create(Url);
        http.AutomaticDecompression = DecompressionMethods.GZip | DecompressionMethods.Deflate;
        string html = string.Empty;

        using (HttpWebResponse webResponse = (HttpWebResponse)http.GetResponse())
        using (Stream responseStream = webResponse.GetResponseStream())
        using (StreamReader reader = new StreamReader(responseStream))
        {

            html = reader.ReadToEnd();
        }

        Debug.WriteLine(stopwatch.ElapsedMilliseconds);
        return html;
    }

有解决这个问题的想法吗？

【问题讨论】：

以防万一您可以在循环函数中删除对 Debug.WriteLine 的调用？将 100 次迭代计时为一个块，并将总时间除以 100。应该大致相等。只是一个健全的检查，以确保 writeline 根本不会减慢你的速度。我很确定它应该很快，但确认一下也无妨。

标签： c# .net httpwebrequest gzip deflate

【解决方案1】：

我认为您可能会泄漏资源，因为您没有在每个方法调用中处理所有 IDisposable 对象。

给出这个版本并尝试看看它是否给你一个更一致的执行时间。

public string getWebsite( string Url )
  {
     Stopwatch stopwatch = Stopwatch.StartNew();

     HttpWebRequest http = (HttpWebRequest) WebRequest.Create( Url );
     http.Headers.Add( HttpRequestHeader.AcceptEncoding, "gzip,deflate" );

     string html = string.Empty;
     using ( HttpWebResponse webResponse = (HttpWebResponse) http.GetResponse() )
     {
        using ( Stream responseStream = webResponse.GetResponseStream() )
        {
           Stream decompressedStream = null;

           if ( webResponse.ContentEncoding.ToLower().Contains( "gzip" ) )
              decompressedStream = new GZipStream( responseStream, CompressionMode.Decompress );
           else if ( webResponse.ContentEncoding.ToLower().Contains( "deflate" ) )
              decompressedStream = new DeflateStream( responseStream, CompressionMode.Decompress );

           if ( decompressedStream != null )
           {
              using ( StreamReader reader = new StreamReader( decompressedStream, Encoding.Default ) )
              {
                 html = reader.ReadToEnd();
              }

              decompressedStream.Dispose();
           }
        }
     }

     Debug.WriteLine( stopwatch.ElapsedMilliseconds );

     return html;
  }

【讨论】：

感谢您的快速回复，我没有注意到。尝试了您的版本，但没有任何改进。当我连续调用该方法 100 次时，每个请求现在几乎正好是 250 毫秒。当我在两个请求之间添加一秒的延迟时，一个请求需要 610 毫秒。

【解决方案2】：

也许可以尝试一下，尽管它可能只会帮助您处理单个请求，并且在执行多线程版本时实际上会使事情变得更糟。

ServicePointManager.UseNagleAlgorithm = false;

这是来自 MSDN 文档对 HttpWebRequest Class 的引用

另一个可能影响性能的选项是使用 UseNagleAlgorithm 属性。当此属性设置为 true 时， TCP/IP 将尝试对 HTTP 连接使用 TCP Nagle 算法。 Nagle 算法在发送 TCP 数据包时聚合数据。它在之前将小消息序列累积成更大的 TCP 数据包数据通过网络发送。使用 Nagle 算法可以优化网络资源的使用，尽管在某些情况下性能也会降低。通常用于恒定的大容量吞吐量，使用 Nagle 实现了性能提升算法。但对于较小的吞吐量应用程序，降级可以看到性能。

应用程序通常不需要更改默认值设置为 true 的 UseNagleAlgorithm 属性。然而，如果一个应用程序正在使用低延迟连接，设置它可能会有所帮助属性为 false。

【讨论】：

你我的朋友，太棒了。谢谢。