【问题标题】:Crawl data from next page doesn't change URL从下一页抓取数据不会更改 URL
【发布时间】:2018-06-27 04:20:40
【问题描述】:

我正在尝试更改此site 中的页面以抓取信息。但是当我单击下一页时它不会更改 URL:

到目前为止我的代码:

[...]
paging = response.css('span id.next::attr(href)').extract()
    if paging:
        yield scrapy.Request(paging, callback=self.parse_links) 

我不知道如何从这样的网站抓取。请帮帮我,谢谢

【问题讨论】:

    标签: python html web-crawler


    【解决方案1】:

    Network next page request 你可以试试这个请求下一页http://vsd.vn/ModuleArticles/ArticlesList/NextPageHDNVTCPH?pCurrentPage=2

    这是返回下一页数据

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2014-02-19
      • 1970-01-01
      相关资源
      最近更新 更多