使用 Selenium 进行 Web 抓取未捕获全文 [关闭]

Question

我正在尝试使用 Selenium/Python 从链接列表中挖掘大量文本。

在这个例子中，我只抓取了其中一个页面并成功抓取了全文：

    page = 'https://xxxxxx.net/xxxxx/September%202020/2020-09-24'

driver = webdriver.Firefox()

driver.get(page)

elements = driver.find_element_by_class_name('text').text

elements

然后，当我尝试遍历整个链接列表（此页面上的所有日常链接：https://overrustlelogs.net/Destinygg%20chatlog/September%202020）（使用与从单个页面抓取文本相同的方法）时，它不是抓取全文：

for i in tqdm(chat_links):
driver.get(i)
#driver.implicitly_wait(200)
elements = driver.find_element_by_class_name('text').text
#elements = driver.find_element_by_xpath('/html/body/main/div[1]/div[1]').text
#elements = elements.text
temp={'elements':elements}
chat_text.append(temp)

driver.close()

聊天文本

我的想法是它可能没有机会加载整个内容，但它可以在单个页面上运行。此外，driver.get 方法似乎意味着加载整个给定页面。

有什么想法吗？谢谢，非常感谢。

Answer 1

页面延迟加载，您需要滚动页面并在列表中添加数据。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver=webdriver.Chrome()
driver.get("https://overrustlelogs.net/Destinygg%20chatlog/September%202020/2020-09-30")
WebDriverWait(driver,10).until(EC.visibility_of_element_located((By.CSS_SELECTOR,".text>span")))
height=driver.execute_script("return document.body.scrollHeight")
data=[]
while True:
    driver.execute_script("window.scrollTo(0,document.body.scrollHeight)")
    time.sleep(1)
    for item in driver.find_elements_by_css_selector(".text>span"):
        if item.text in data:
            continue
        else:
            data.append(item.text)

    lastheight=driver.execute_script("return document.body.scrollHeight")
    if height==lastheight:
        break
    height=lastheight

print(data)