如何使用 Selenium 和 webdriver 提取网页源的一部分？

Question

我想提取网页源的一部分。现在我可以提取所有 html 代码并输出正确的代码。但是，我只想提取一部分代码。

下面是他们的html代码，我要爬取。我只想抓取红色范围：

然后，下面是我的python代码：

    from datetime import date,datetime
    from selenium import webdriver
    from selenium.webdriver.common.keys import Keys
    from bs4 import BeautifulSoup
    from selenium.webdriver.support.ui import Select
    from selenium.common.exceptions import NoSuchElementException
    import numpy as np
    import xlrd
    import csv
    import codecs
    import time
    import os

        driver_blank=webdriver.Chrome('./chromedriver')
        driver_blank.get('https://forumd.hkgolden.com/view.aspx?type=CA&message=7223327')
        time.sleep(1)
        try_value = 1
        while(try_value):
            try:
                driver_blank.find_element_by_xpath('/html/body/form/div[5]/div/div/div[2]/div[1]/div[5]/table[2]')
                print('OK')
                try_value=0
            except NoSuchElementException as e:
                print('Refreash now')
                driver_blank.refresh()
                time.sleep(10)
        html_code = driver_blank.page_source
        print(html_code)

我可以使用完整的 Xpath 来定位这个范围吗？

Answer 1

如果要获取grid html需要先识别grid element再使用 get_attribute("outerHTML")

诱导WebDriverWait()并等待visibility_of_element_located()

代码：

driver.get("https://forumd.hkgolden.com/view.aspx?type=CA&message=7223327")
WebDriverWait(driver,20).until(EC.visibility_of_element_located((By.XPATH,"(//div[@class='ContentGrid'])[1]")))
print(driver.find_element_by_xpath("(//div[@class='ContentGrid'])[1]").get_attribute("outerHTML"))

您需要添加以下库。

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By