【发布时间】:2020-04-28 16:37:37
【问题描述】:
我的抓取代码有效,但似乎效率低下:我必须发送大量“继续”请求才能获取所有内容。这是最初的请求:
https://en.m.wikipedia.org/w/api.php?action=query&prop=linkshere&format=json&maxlag=2&titles=Korn
我得到一个续号,所以我跟着:
https://en.m.wikipedia.org/w/api.php?action=query&prop=linkshere&format=json&maxlag=2&titles=Korn&lhcontinue=20653
一遍又一遍,直到最后。每个请求都会提供少量的总数据。
我是否遗漏了一些简单的方法来获取每个请求的更多数据?谢谢!
【问题讨论】:
标签: web-scraping wikipedia-api