如何使用 Selenium 抓取 Twitter 关注者答案

【问题标题】：How to scrape twitter followers using Selenium如何使用 Selenium 抓取 Twitter 关注者
【发布时间】：2021-03-23 11:47:12
【问题描述】：

我正在尝试抓取 Twitter 关注者。但我一次只能得到一个。如何抓取页面上看到的所有关注者？顺便说一句，向下滚动页面是可以的。

browser.get(f"https://www.twitter.com/{username1}/following")
time.sleep(5)
following = browser.find_elements_by_xpath('/html/body/div/div/div/div[2]/main/div/div/div/div[1]/div/div[2]/section/div/div/div[1]/div/div/div/div[2]/div[1]/div[1]/a/div/div[2]/div[1]')

for a in following:

    follower = a.find_element_by_xpath('/html/body/div/div/div/div[2]/main/div/div/div/div[1]/div/div[2]/section/div/div/div[1]/div/div/div/div[2]/div[1]/div[1]/a/div/div[2]/div[1]').text

    print(follower)

【问题讨论】：

这是一个follower的xpath，需要获取每个follower的selector并迭代

标签： python selenium

【解决方案1】：

我可以在代码中看到 2 个问题。

1:- 使用绝对路径。而是使用

//div[@dir="ltr"]

2:- find_element_by_xpath 只得到一个元素。如果您想检索多个元素，请尝试使用find_elements_by_xpath

followers = a.find_elements_by_xpath('//div[@dir="ltr"]')
for follower in followers:
    print(follower.text())

【讨论】：