为什么我不能在 python 中用漂亮的汤刮 twitter？

Question

我想知道为什么我不能用 python 美汤刮 twitter 个人资料。

from bs4 import BeautifulSoup
import requests
import urllib3

url = "https://twitter.com/Microsoft"
r = requests.get(url)
bs = BeautifulSoup(r.content, 'lxml')
match = bs.find_all('span')

match 包含包含以下文本的单个元素

出了点问题，但不要担心——让我们再试一次。

我无法理解为什么会发生这种情况，是因为 twitter 停止允许网络抓取工具抓取它的内容吗？任何解决方案将不胜感激。

Answer 1

一些网站正在使用技术来防止网络抓取。然而，有许多技术解决方案可以抓取 Twitter 数据，如果您使用这些解决方案，您可能会违反 Twitter Terms of Service 的规定：

“……明确禁止未经 Twitter 事先同意而抓取服务”

并且您不应“……通过我们当前可用的已发布界面以外的任何方式（自动或其他方式）访问或搜索或尝试访问或搜索服务”

您可以通过 Twitter 的 APIs 访问 Twitter 数据，但根据您的使用情况，Twitter 可能会为此收费。