如何使用 scrapy 和 XPath 抓取 Twitter 关注者？答案

【问题标题】：How to scrape twitter followers ith scrapy and XPath?如何使用 scrapy 和 XPath 抓取 Twitter 关注者？
【发布时间】：2015-07-22 11:31:29
【问题描述】：

我正在尝试编写一个 Scrapy 刮板来获取给定帐户的所有关注者（以我为例，例如 https://twitter.com/Acrocephalus/followers）。我的追随者的用户名（例如@ndlstrong）的 XPath 是什么？谢谢！

丹妮

【问题讨论】：

要获取 XPath，为什么不在浏览器中打开站点，运行开发工具并在 HTML 树中查找元素？
谢谢 GHajba，这就是我想要做的，但是我如何将它编码到 XPath 中呢？例如，class="u-linkComplex-target" 包含用户名，但我只需要那些 class="FollowStatus" = 关注你的人。我该怎么做？
为什么不使用tweepy？
嗨伊恩奥尔德。 tweepy 不会达到 Twitter API 的限制吗？
我可以使用 //span[@class="u-linkComplex-target"] 获取所有用户名。如何将搜索限制为 class="FollowStatus" = 关注你？

【解决方案1】：

我一直在搜索，发现 //span[@class="u-linkComplex-target"] 检索关注者用户名。非追随者有不同的类别，因此 class="u-linkComplex-target 仅适用于追随者。

【讨论】：