如何从 Stack Exchange 上的问题中抓取标签信息答案

【问题标题】：How to scrape tag information from questions on Stack Exchange如何从 Stack Exchange 上的问题中抓取标签信息
【发布时间】：2014-09-03 12:32:51
【问题描述】：

我的问题是我想从某个（有点小）Stack Exchange 中创建一个包含所有问题、答案以及最重要的是标签的数据库。标签之间的关系（例如，经常一起使用的标签有很强的关系）可以揭示很多关于社区结构和某些子领域的受欢迎程度或兴趣的信息。

那么，使用 Python 浏览问题列表（排名靠前）并提取标签信息的最简单方法是什么？

【问题讨论】：

既然可以直接获取数据，为什么还要刮？ api.stackexchange.com
谢谢，这正是我想要的

标签： python tags extract

【解决方案1】：

获取所有问题的共享标签计数的最简单方法是使用Stack Exchange API。

import requests

r = requests.get(
    'http://api.stackexchange.com/2.2/tags/python/related?pagesize=3&site=stackoverflow')

for item in r.json()['items']:
   print("{name} shares {count} tags with Python".format(**item))

如果这不能满足您的需求，还有许多其他 API 查询可用。

【讨论】：

【解决方案2】：

访问该站点以找到显示所需信息的 URL，然后查看页面源以了解其格式。

【讨论】：

【解决方案3】：

为了抓取页面，请使用urllib2 库。
使用BeautifulSoup 库解析文本。
将数据放入数据库中。

困难的事情将是构建您的数据库并开发查询来揭示您想要什么。

【讨论】：