如何创建跨域 HTTP 请求答案

【问题标题】：How to create a cross domain HTTP request如何创建跨域 HTTP 请求
【发布时间】：2017-02-19 10:51:20
【问题描述】：

我有一个网站，我需要一种通过 http 请求从不同网站获取 html 数据的方法，我一直在寻找实现它的方法，大多数人说是通过 ajax 调用。

ajax 调用被链接阻止，所以我想尝试一个普通的跨域 http 请求，希望它不会被阻止。

【问题讨论】：

应将“不同的网站”配置为接受来自您的域的请求。
即使是普通的 HTTP 请求？我知道 ajax 可以被阻止，但 HTTP 请求可以吗？
如果该网站不允许您的域，您可以发送请求，但它们将根据请求类型、协议而被独立拒绝。
@Midnight_Blaze 你如何发送没有 ajax 的 HTTP 请求（又名 XmlHttpRequest）？
据我了解，您可以发送但请求会被浏览器阻止。如果未设置 CORS，则之前的标头交换会导致您的请求被阻止。如果您无法控制其他域并且它没有为您提供像 JSONP 这样的知名接口，那么我认为您最好的选择是使用后端代理。因此，您的 ajax 调用将向您服务器上的脚本发送请求。并且该脚本不受同源策略限制，将能够从另一个域获取您需要的数据并将其发送到您网站的前端。

标签： javascript c# http-request

【解决方案1】：

如果您有一个正在运行的服务器并且能够在其上运行代码，您可以在服务器端进行 HTTP 调用。请记住，尽管大多数网站只允许每个 IP 地址进行如此多的调用，因此您无法以这种方式为大量用户提供服务。

这是一个简单的httpListener，当 QueryString 包含 ?site=http://linkedin.com 时下载网站内容：

// setup an listener
using(var listener = new HttpListener())
{
    // on port 8080
    listener.Prefixes.Add("http://+:8080/");
    listener.Start();
    while(true) 
    {
        // wait for a connect
        var ctx = listener.GetContext();
        var req = ctx.Request;
        var resp = ctx.Response;
        // default page 
        var cnt = "<html><body><a href=\"/?site=http://linkedin.com\">click me</a> </body></html>";
        foreach(var key in req.QueryString.Keys)
        {
          if (key!=null) 
          {
             // if the url contains ?site=some url to an site
            switch(key.ToString()) 
            {
                case "site":
                // lets download
                var wc = new WebClient();
                // store html in cnt
                cnt = wc.DownloadString(req.QueryString[key.ToString()]);
                // when needed you can do caching or processing here
                // of the results, depending on your needs
                break;
                default:
                break;
            }
          }
        }
        // output whatever is in cnt to the calling browser
        using(var sw = new StreamWriter(resp.OutputStream))
        {
            sw.Write(cnt);
        }
    }
}

要使上述代码正常工作，您可能必须为该 url 设置权限，如果您在您的开发箱上，请执行以下操作：

netsh http add urlacl url=http://+:8080/ user=Everyone   listen=yes

在生产中为用户使用合理的值。

设置完成后，运行上面的代码并将浏览器指向

 http://localhost:8080/

（注意末尾的 /）

您将获得一个带有链接的简单页面：

click me

单击该链接将向 httplistener 发送一个新请求，但这次使用查询字符串 site=http://linkedin.com。服务器端代码将获取给定 url 处的 http 内容，在本例中来自 LinkedIn.com。结果是一对一地发送回浏览器，但您可以根据您的要求进行后处理/缓存等。

法律声明/免责声明

大多数网站不喜欢以这种方式被抓取，他们的服务条款实际上可能禁止这样做。确保您不做任何会损害网站可靠性或导致对您采取法律行动的非法行为。

【讨论】：