【问题标题】:How to use wikipedia API to parse through a list of links and retrieve data from them?如何使用 wikipedia API 解析链接列表并从中检索数据?
【发布时间】:2015-04-29 09:53:19
【问题描述】:

我有一个包含链接 (http://en.wikipedia.org/wiki/Lists_of_countries_and_territories) 的维基百科页面。我想浏览所有这些链接,然后检索列出的国家/地区列表。

我已经能够使用 BeautifulSoup 检索所有链接,并且可以通过链接并使用 beautifulsoup 来完成它,但是我想将这个刮板用于各种事情,并且想知道是否有办法做到这一点使用 wikipedia API 更轻松、更快捷。

【问题讨论】:

  • 考虑使用维基百科转储,或 DBpedia(P.S. 抓取不是数据挖掘)

标签: python api web-scraping screen-scraping wikipedia


【解决方案1】:

https://www.mediawiki.org/wiki/API:Links 获取所提供页面上所有链接的列表。您可以将此列表用作generator 来检索列出的页面属性,还有client libraries

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2013-12-02
    • 1970-01-01
    • 2015-03-16
    • 2012-12-01
    • 1970-01-01
    相关资源
    最近更新 更多