抓取由 asp.net / AJAX 管理的 html 分页（__doPostBack）答案

【问题标题】：Crawl html pagination managed by asp.net / AJAX (__doPostBack)抓取由 asp.net / AJAX 管理的 html 分页（__doPostBack）
【发布时间】：2017-11-28 12:10:07
【问题描述】：

我已经阅读了很多关于废弃由 javascript 和 ASP.net 管理的网站的内容，我了解到，首先你必须发送尽可能多的信息才能欺骗 ASP 服务器，使其相信你真的点击了分页。

这就是我想要达到的目标：

或下一个按钮：

所以我已尽力而为，但我发现只有我的第一页被抓取。我永远无法访问第二、第三等页面。

一切顺利，我唯一的问题是我无法访问其他页面！

到目前为止，我想知道我的 go 代码是否有问题，或者我是否必须辞职并告诉自己“好的，不能被刮掉”。

我使用client := &http.Client{} 以便能够稍微更改标题：

    req, err := http.NewRequest("POST", urlToScrap, strings.NewReader(form.Encode()))
    if err != nil {
        panic(err)
    }
    req.Header.Set("X-MicrosoftAjax", "Delta=true")
    req.Header.Set("User-Agent", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.76 Safari/537.36")

    res, err := client.Do(req)
    if err != nil {
        panic(err)
    }

从现在开始，这是我尝试在我的 POST 请求中发送的数据表单：

form.Add("__EVENTTARGET", "")
form.Add("_TSM_HiddenField_", "2GFwlGU9ATlFIxrdsXRzcja58_1t5F8HSleaZM4ZQwk1")
form.Add("__EVENTVALIDATION", eventvalidation)
form.Add("__VIEWSTATEGENERATOR", "20C6E8CA")
form.Add("__VIEWSTATE", viewstat)

我直接从网络中复制粘贴了 VIEWSTATE & EVENTVALIDATION 到一个变量中（真的很大！）

所以事件目标是空白的，因为我将爬虫放在 for 中（我正在使用 GoQuery），它一直运行到我到达最后一页（我确切地知道我想爬多少页）：

for page := 1; page < 139; page++ {

    urlPaginated := "ctl00$ContentPlaceHolder1$pager$rptPager$ctl" + strconv.Itoa(page) + "$lbtnClick"
    form.Set("__EVENTTARGET", urlPaginated)

$ctl 参数是我看到的唯一一个在单击按钮时发生变化的参数。所以我以为是这个修改了从url加载的内容。

然后，我开始抓取：

    doc, err := goquery.NewDocumentFromResponse(res)
    if err != nil {
        fmt.Println("ok2")
        log.Fatal(err)
    }

    doc.Find(".resultstable tbody tr").Each(func(i int, s *goquery.Selection) {
        companyID, ok := s.Find("td > a").Attr("name")
        if !ok {
            fmt.Println("yolo")
        }

        fmt.Println(companyID)
        scrapIt(companyID)
        time.Sleep(time.Second / 2)
    })

我没有尝试传递给表单的唯一字段是那些：

所以我在这里，迷失和无知。如果有人有想法，我将不胜感激！

【问题讨论】：

标签： asp.net ajax go web-scraping web-crawler

【解决方案1】：

所以我没有找到解决方法，但我在移动设备上找到了一个简单的 LoadMore 按钮，可以绕过主要问题。

所以改用爬取移动版有点尴尬，但是可以。

【讨论】：