【问题标题】:Nosuch element exception in selenium but the element is present there硒中没有此类元素异常,但该元素存在
【发布时间】:2022-01-02 18:20:23
【问题描述】:
我试图从站点中抓取一些数据。我正在使用硒,但是当我尝试单击站点中的元素或从站点中的元素获取数据时出现 NoSuchElementException,即使该元素存在于那里。
代码
from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.by import By
driver = webdriver.Chrome(ChromeDriverManager().install())
driver.get('https://www.priceking.com/')
driver.maximize_window()
driver.find_element(By.XPATH, "/html/body/div/center/font/a").click()
# driver.find_element(By.CSS_SELECTOR, "body > div > center > font > a").click()
这是我使用的站点链接priceking
我不知道为什么我找不到网站中的任何元素。
【问题讨论】:
标签:
python
selenium
web-scraping
iframe
webdriverwait
【解决方案1】:
所需元素位于 <frame> 内,因此您必须:
-
诱导WebDriverWait 使所需的帧可用并切换到它。
-
诱导WebDriverWait 使所需的元素可点击。
-
您可以使用以下任一Locator Strategies:
-
使用PARTIAL_LINK_TEXT:
driver.get("https://www.priceking.com/")
WebDriverWait(driver, 20).until(EC.frame_to_be_available_and_switch_to_it((By.XPATH,"//frame[@name='contents']")))
WebDriverWait(driver, 20).until(EC.element_to_be_clickable((By.PARTIAL_LINK_TEXT, "Show More"))).click()
-
使用XPATH:
driver.get("https://www.priceking.com/")
WebDriverWait(driver, 20).until(EC.frame_to_be_available_and_switch_to_it((By.XPATH,"//frame[@name='contents']")))
WebDriverWait(driver, 20).until(EC.element_to_be_clickable((By.XPATH, "//a[contains(., 'Show More')]"))).click()
-
注意:您必须添加以下导入:
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
-
浏览器快照:
【解决方案2】:
元素 Show More 在 iframe 中。需要切换到框架与元素交互。
# Imports required
from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
driver.get("https://www.priceking.com/")
wait = WebDriverWait(driver,30)
# Switch to Iframe
wait.until(EC.frame_to_be_available_and_switch_to_it((By.NAME,"contents")))
show_more = wait.until(EC.element_to_be_clickable((By.XPATH,"//a[contains(text(),'Show More')]")))
show_more.click()
# Can also use Link text to click on the element.
# show_more = wait.until(EC.element_to_be_clickable((By.LINK_TEXT,"Show More")))
# show_more.click()
# switch to default content
driver.switch_to.default_content()
【解决方案3】:
请在单击链接之前使用一些wait 语句,并且该元素位于iframe 内,因此请先切换到框架,然后单击该元素。
WebDriverWait(driver, 10).until(EC.frame_to_be_available_and_switch_to_it((By.NAME,"contents")))
WebDriverWait(driver, 10).until(EC.visibility_of_element_located((By.XPATH, "//a[text()=' Show More ']")))
driver.find_element(By.XPATH, "//a[text()=' Show More ']").click()
并且总是写可靠的xPath
【解决方案4】:
- 该元素位于框架内,您需要切换到该框架才能访问该元素。
- 您必须在访问元素之前添加一些等待/延迟。
- 定位器应该改进。
试试这个:
from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.Chrome(ChromeDriverManager().install())
driver.get('https://www.priceking.com/')
wait = WebDriverWait(driver, 20)
driver.maximize_window()
wait.until(EC.frame_to_be_available_and_switch_to_it((By.XPATH,"//frame[@name='contents']")))
wait.until(EC.visibility_of_element_located((By.XPATH, "//a[contains(text(),'Show More')]"))).click()