向 Https 站点发送请求答案

【问题标题】：Sending Requests to Https site向 Https 站点发送请求
【发布时间】：2018-11-25 23:03:42
【问题描述】：

基本上，通过 goLang，我正在尝试在 https 站点上发送请求以检查站点上是否存在项目。我试图尝试向主站点发出请求，但一直被拒绝访问，需要一种方法来解决这个问题，我试图从正文中获取信息以将其分开并找到正确的 ID 以检查是否有东西网站。

package main

import (
    "fmt"
    "net/http"
    "io/ioutil"
)

func main() {

   url := "https://www.jdsports.co.uk/"

   req, _ := http.NewRequest("GET", url, nil)

   res, _ := http.DefaultClient.Do(req)

   defer res.Body.Close()

   body, _ := ioutil.ReadAll(res.Body)

   fmt.Println(string(body)) 
}

【问题讨论】：

我的访问被拒绝，服务器不允许发送请求
@ThunderCat 请尝试您将看到的新网址
除了忽略的错误之外，应用程序正确地从服务器请求资源。也许服务提供商可以提供帮助。

标签： go https get

【解决方案1】：

经过一点测试，该特定网站似乎正在使用 Akamai Ghost，并且已配置为阻止默认的 go http 包用户代理。

默认用户代理似乎是Go-http-client/1.1

如果您更改用户代理

req.Header.Set("User-Agent", "my-client-app")

请求将起作用。但是，有问题的网站似乎不希望以编程方式被抓取。或许你应该尊重他们的意愿。

【讨论】：