【问题标题】:Scrape wikipedia "prop=linkshere" more efficiently?更有效地抓取维基百科“prop=linkshere”?
【发布时间】:2020-04-28 16:37:37
【问题描述】:

我的抓取代码有效,但似乎效率低下:我必须发送大量“继续”请求才能获取所有内容。这是最初的请求:

https://en.m.wikipedia.org/w/api.php?action=query&prop=linkshere&format=json&maxlag=2&titles=Korn

我得到一个续号,所以我跟着:

https://en.m.wikipedia.org/w/api.php?action=query&prop=linkshere&format=json&maxlag=2&titles=Korn&lhcontinue=20653

一遍又一遍,直到最后。每个请求都会提供少量的总数据。

我是否遗漏了一些简单的方法来获取每个请求的更多数据?谢谢!

【问题讨论】:

    标签: web-scraping wikipedia-api


    【解决方案1】:

    【讨论】:

    • 谢谢你,完美!
    猜你喜欢
    • 2019-05-24
    • 2017-04-30
    • 2020-07-20
    • 2013-11-13
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-07-16
    • 1970-01-01
    相关资源
    最近更新 更多