为什么使用“selenium”并且页面没有下降？

Question

为什么你使用“webdriver.PhantomJS”页面没有向下滚动？

我正在抓取 Twitter 网站。

（我们不使用api的原因是为了获取过去的数据。）

但是页面没有向下滚动，所以我无法获得更多推文。

怎么了？如何修复此代码？

另外，我不知道有多少页结束。

我认为您不应该指定一个数字来获取所有内容。 （因为我无法获取所有数据）。

for _ in range(50):
    body.send_keys(Keys.PAGE_DOWN)

有什么好办法吗？

下面的代码是我正在运行的完整代码。

#py3
import requests 
import time
from selenium import webdriver
from selenium.webdriver.common.keys import Keys

browser = webdriver.PhantomJS('C:\phantomjs-2.1.1-windows/bin/phantomjs')
base_url = u'https://twitter.com/search?l=&q=money%20since%3A2017-07-18%20until%3A2017-07-20&src=typd&lang=ko'
url = base_url

browser.get(url)
time.sleep(1)

body = browser.find_element_by_tag_name('body')

for _ in range(50):
    body.send_keys(Keys.PAGE_DOWN)
    time.sleep(0.2)

tweets=browser.find_elements_by_class_name('tweet-text')

wfile = open("money.txt", mode='w', encoding='utf8')
data={}
i = 1
for tweet in tweets:
    data['text'] = tweet.text
    print(i, ":", data)
    wfile.write(str(data) +'\n')
    i += 1
wfile.close()

Answer 1

您可以使用browser.execute_script("window.scrollTo(0, document.body.scrollHeight);") 滚动到网页末尾。这是你想要完成的吗？

要使用它，您需要在抓取推文之前滚动。例如，将您的第一个 for 循环替换为：

for _ in range(50):
    browser.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    time.sleep(0.2)

另外，这只是您的第二个循环的提示。您可以使用 enumerate，而不是在循环之外跟踪 i：

for i, tweet in enumerate(tweets):
    data['text'] = tweet.text
    print(i, ":", data)
    wfile.write(str(data) +'\n')