WebRequest/WebResponse 内存泄漏

Question

我有一个 .Net Framework #4.0 应用程序，它使用 WebRequest/WebResponse 类发出大量 Web 请求，因为我看到它存在内存泄漏（或者我做错了什么） 我写了一些简单的小应用程序来证明这一点：

class Program
{

    public static void Main(string[] args)
    {
        while(true)
        {
            var webRequest = (HttpWebRequest)WebRequest.Create("http://www.gooogle.com");
            Init(webRequest);
            using (var webResponse = (HttpWebResponse)webRequest.GetResponse())
            {
                var responseStream = webResponse.GetResponseStream();

                responseStream.ReadTimeout = 30;
                var streamReader = new StreamReader(responseStream, Encoding.UTF8);
                var page = streamReader.ReadToEnd();

                streamReader.Close();
                streamReader.Dispose();

                responseStream.Close();
                responseStream.Dispose();

                webResponse.Close();

                Console.WriteLine("Done");

                //GC.Collect();
            }
        }
    }

     private static void Init (HttpWebRequest webRequest)
     {
         webRequest.Method = "GET";
         webRequest.Host = "www.gooogle.com";
         webRequest.UserAgent =
             "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; GTB6.5; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; OfficeLiveConnector.1.4; OfficeLivePatch.1.3; .NET4.0C; .NET4.0E; InfoPath.3) chromeframe/5.0.375.62";
         webRequest.Accept =
             "application/x-ms-application, image/jpeg, application/xaml+xml, image/gif, image/pjpeg, application/x-ms-xbap, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, */*";
         webRequest.KeepAlive = true;
     }
}

我想出的唯一一个解决方案是使用 GC.Collect()（在示例中未标记），所有对象都已释放，所有流都已关闭，我是否遗漏了什么？

我发现了一些东西，但我不明白原因，如果我将控制台最小化，内存使用量会减少并且看起来还可以，这可能是什么原因，Conosole 或 WinForm 有问题，我该如何解决？

Answer 1

您在一个紧密的循环中分配内存。您可能没有内存泄漏，您的应用程序表现不佳（从某种意义上说，它无缘无故地占用了大量系统资源。）

垃圾收集器不会为了压缩释放的内存而中断循环，除非由于内存压力而不得不这样做。简单的解决方法是在循环的迭代之间引入延迟（可以像 Thread.Sleep 一样简单，但我不建议这样做。）

一旦您的程序不那么努力地消耗所有可用的 CPU 时间，它应该允许 GC 更频繁地运行。

Answer 2

试试这个：

while (true)
{
    var webRequest = (HttpWebRequest) WebRequest.Create("http://www.gooogle.com");
    Init(webRequest);
    using (var webResponse = (HttpWebResponse) webRequest.GetResponse())
    {
        using (var responseStream = webResponse.GetResponseStream())
        {
            responseStream.ReadTimeout = 30;
            using (var streamReader = new StreamReader(responseStream, Encoding.UTF8))
            {
                var page = streamReader.ReadToEnd();
            }
        }

        Console.WriteLine("Done");
    }
}

Answer 3

看看这个 (source)：

症状

当您使用HttpWebRequest 类为 HTTP POST 或 PUT 请求发送大量数据时，该请求可能会在运行 Microsoft .NET Framework 的计算机上失败。此外，您可能会收到内存不足异常。

您可能会注意到使用HttpWebRequest 类的应用程序会消耗大量内存。当您使用性能监视器监控使用 HttpWebRequest 类的应用程序时，私有字节数将随着数据的发送而不断增加。

原因

出现此问题的原因是 .NET Framework 在您使用 HttpWebRequest 类时默认缓冲传出数据。知识库文章 http://support.microsoft.com/kb/908573 记录了原始问题。

分辨率

要解决此问题，请将HttpWebRequest.AllowWriteStreamBuffering 属性设置为false。通过这样做，POST 或 PUT 请求的传出数据（实体主体）将不会在内存中缓冲。

在 Microsoft .NET Framework 4.5 之前的版本中，将 HttpWebRequest.AllowWriteStreamBuffering 属性设置为 false 有时会在将数据上传到经过身份验证的端点时导致错误。例如，您可能会遇到带有消息“此请求需要缓冲数据才能成功”的 System.Net.WebException。然而，在更深入的调查中，与异常相关的响应实际上指示了 System.Net.HttpStatusCode.Unauthorized (401) 的状态代码。知识库文章 http://support.microsoft.com/kb/908573 记录了预身份验证和 KeepAlive 连接以处理 401 响应的解决方法。

与 Microsoft .NET Framework 1.1、2.0、3.0、3.5 和 4.0 不同，Microsoft .NET Framework 4.5 为 HttpWebRequest.AllowWriteStreamBuffering 属性添加了新的设计功能。只要启用 Expect100Continue 功能，新功能就可以直接处理身份验证场景。默认ServicePointManager.Expect100Continue 值为true。

Answer 4

是的，我们也发现了一个漏洞。解决方案是……小心你用这个东西做什么。考虑不使用它。我相信它有......问题（至少在 3.5 中，可能还有其他版本）。哦，别忘了在 Microsoft Connect 上报告/投票。