如何使用 selenium 和 scrapy 抓取某个网页？

Question

问题是网站中的某些部分无法通过scrapy直接抓取。因此，我需要使用selenium来渲染页面源，以便我可以访问某些内容。

我试过这个：

from selenium import webdriver
driver = webdriver.Chrome()
driver.get(url)
print(driver.page_source)

我没有在结果页面源中发现某些内容， 虽然我可以通过driver.find_element_by_css_selector()获取内容

为什么会这样？ 以及如何使用 selenium 和 scrapy 来抓取某个网站，例如：http://tieba.baidu.com/p/5513911529,

我遇到的困难在下图中，红圈内，我需要里面的文字内容

感谢您的帮助，或者至少给我一个文档来阅读。

Answer 1

内容将在用户向下滚动后显示。所以你必须使用 JS Executor 向下滚动。请参阅下面的代码。

driver.get('http://tieba.baidu.com/p/5513911529')
SCROLL_PAUSE_TIME = 0.5
SCROLL_LENGTH = 200
page_height = int(driver.execute_script("return document.body.scrollHeight"))
scrollPosition = 0
while scrollPosition < page_height:
    scrollPosition = scrollPosition + SCROLL_LENGTH
    driver.execute_script("window.scrollTo(0, " + str(scrollPosition) + ");")
    time.sleep(SCROLL_PAUSE_TIME)

time.sleep(5)
print(driver.page_source)