C# WebClient Https GET 请求比其他站点慢 3 倍

Question

我不能在这个项目中使用 google api，但需要做一个简单的 google 查询，我通过在 WebClient 上使用 ssl3 和 tls12 来做到这一点，手动设置标题（不确定这是否有帮助）并简单地发送一个 GET 请求，由于某种原因，这需要 10 秒，但 StackOverflow 只需 3 秒。然而，当使用 chrome 都立即加载时，使用 WebClient 的瓶颈是什么？如何像 chrome 一样快速获取 SSL GET 请求？

第二个问题：如果页面包含 JS，如何在不使用网络浏览器渲染整个内容的情况下在检索到的“文档”上执行 js p>

任何帮助表示赞赏。

编辑：删除标题修改代码会加快速度，但谷歌仍然非常慢，我假设他们是故意这样做的？有没有办法解决这个问题？

//in main
  WebCrawler wc = new WebCrawler();
            string page = wc.load("https://stackoverflow.com/questions/20064505/requesting-html-over-https-with-c-sharp-webclient");
            page = wc.load("https://www.google.com/maps?q=computer+shops+near+me&rlz=1C1GCEA_enZA855ZA855&um=1&ie=UTF-8&sa=X&ved=0ahUKEwi1lY-c4eDjAhUtWhUIHf8DDKUQ_AUIEigB");

...
// webcrawler class
WebClient webClient;
        public WebCrawler()
        {

            webClient = new WebClient();
            ServicePointManager.ServerCertificateValidationCallback += ValidateRemoteCertificate;
            ServicePointManager.SecurityProtocol = SecurityProtocolType.Ssl3;
            ServicePointManager.Expect100Continue = true;
            ServicePointManager.SecurityProtocol = SecurityProtocolType.Tls12;



        }
        public  string load(string uri)
        {
            Uri address = new Uri(uri);

            {
                webClient.Headers.Set(HttpRequestHeader.UserAgent, "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36");
                webClient.Headers.Set(HttpRequestHeader.Referer, "https://www.google.com/");
             //    webClient.Headers.Set(HttpRequestHeader.Cookie,
                var stream = webClient.OpenRead(address);
                using (StreamReader sr = new StreamReader(stream))
                {
                    var page = sr.ReadToEnd();
                    return page;
                }
            }
        }
        private static bool ValidateRemoteCertificate(object sender, X509Certificate cert, X509Chain chain, SslPolicyErrors error)
        {
            if (error == System.Net.Security.SslPolicyErrors.None)
            {
                return true;
            }

            Console.WriteLine("X509Certificate [{0}] Policy Error: '{1}'",
                cert.Subject,
                error.ToString());

            return false;
        }
    }

Answer 1

不要使用 WebClient。相反，您可以使用HttpClient 或HttpWebRequest 并将AutomaticDecompression 设置为GZip, Deflate。

当您使用以下行将AutomaticDecompression 设置为GZip, deflate 时（例如，req 是HttpWebRequest）：

req.AutomaticDecompression = DecompressionMethods.GZip | DecompressionMethods.Deflate;

一个名为Accept-Encoding 的HTTP 标头将被发送到服务器，其值为GZip, Deflate，要求服务器以压缩格式下载内容。 这意味着，要下载的内容更小，所需的时间也更短。 HttpWebRequest 将负责解压缩从服务器发送的数据。

我在HttpWebRequest 上解释的概念可以应用于HttpClient