通过 Python 中的 Selenium Web Automation 获取 HTML 标签的文本值？

Question

我正在制作一个reddit bot，它将在cmets 中查找某些属性，使用selenium 访问信息网站，并使用driver.find_element_by... 获取该标签内的值，但它不起作用。

当我使用driver.find_element_by_class_name()时，这是返回的数据：

<selenium.webdriver.remote.webelement.WebElement (session="f454dcf92728b9db4de080a27a844bf7", element="514bd57d-99d7-4fce-a05d-3fa92f66ad49")>

当我使用driver.find_elements_by_css_selector(".style-scope.ytd-video-renderer") 时，返回：

[
  <selenium.webdriver.remote.webelement.WebElement (session="43cb953cde81df270260bf769fe081a2", element="6b4ee3e2-5e6b-48e2-8ec8-9083bf15baea")>, 
  <selenium.webdriver.remote.webelement.WebElement (session="43cb953cde81df270260bf769fe081a2", ...
]

当我使用driver.find_elements_by_css_selector(".style-scope.ytd-video-renderer")时。

假设这是我试图定位的（上面的代码返回了这个标签的上面的 Selenium 数据）：

<yt-formatted-string class="style-scope ytd-video-renderer" aria-label="Sword Art Online: Alicization Lycoris Opening Full『ReoNa - Scar/let』 by Melodic Star 2 months ago 4 minutes, 18 seconds 837,676 views">Sword Art Online: Alicization Lycoris Opening Full『ReoNa - Scar/let』</yt-formatted-string>

我想要什么

我希望Sword Art Online: Alicization Lycoris Opening Full『ReoNa - Scar/let』 被退回。

我能做什么？

Answer 1

使用.text：

element = driver.find_element_by_xpath('//*[@id="container"]/h1/yt-formatted-string')
print(element.text)

Answer 2

看来你已经够近了。当您使用 driver.find_element_by_class_name() 时，将返回第一个匹配的 WebElement。在打印时，输出是：

<selenium.webdriver.remote.webelement.WebElement (session="f454dcf92728b9db4de080a27a844bf7", element="514bd57d-99d7-4fce-a05d-3fa92f66ad49")>

代表 WebElement 本身，可能包含所需的文本。

在类似的行上driver.find_elements_by_css_selector(".style-scope.ytd-video-renderer") 返回一个匹配 WebElements 的 list 并且在打印这些行时，输出是：

[
  <selenium.webdriver.remote.webelement.WebElement (session="43cb953cde81df270260bf769fe081a2", element="6b4ee3e2-5e6b-48e2-8ec8-9083bf15baea")>, 
  <selenium.webdriver.remote.webelement.WebElement (session="43cb953cde81df270260bf769fe081a2",
  ...
]

---

解决方案

从以下 HTML 中提取文本 Sword Art Online: Alicization Lycoris Opening Full『ReoNa - Scar/let』：

<yt-formatted-string class="style-scope ytd-video-renderer" aria-label="Sword Art Online: Alicization Lycoris Opening Full『ReoNa - Scar/let』 by Melodic Star 2 months ago 4 minutes, 18 seconds 837,676 views">Sword Art Online: Alicization Lycoris Opening Full『ReoNa - Scar/let』</yt-formatted-string>

您可以使用以下任一Locator Strategies：

• 使用css_selector 和get_attribute()：

  print(driver.find_element_by_css_selector("yt-formatted-string.style-scope.ytd-video-renderer").get_attribute("innerHTML"))
  

• 使用xpath和text属性：

  print(driver.find_element_by_xpath("//yt-formatted-string[@class='style-scope ytd-video-renderer']").text)
  

---

理想情况下，要打印文本3,862.76，您必须为visibility_of_element_located() 诱导WebDriverWait，您可以使用以下Locator Strategies 之一：

• 使用CSS_SELECTOR 和get_attribute()：

  print(WebDriverWait(driver, 20).until(EC.visibility_of_element_located((By.CSS_SELECTOR, "yt-formatted-string.style-scope.ytd-video-renderer"))).get_attribute("innerHTML"))
  

• 使用XPATH和text属性：

  print(WebDriverWait(driver, 20).until(EC.visibility_of_element_located((By.XPATH, "//yt-formatted-string[@class='style-scope ytd-video-renderer']"))).text)
  

• 注意：您必须添加以下导入：

  from selenium.webdriver.support.ui import WebDriverWait
  from selenium.webdriver.common.by import By
  from selenium.webdriver.support import expected_conditions as EC
  

您可以在How to retrieve the text of a WebElement using Selenium - Python找到相关讨论

---

结尾

链接到有用的文档：

• get_attribute() 方法 Gets the given attribute or property of the element.
• text 属性返回 The text of the element.
• Difference between text and innerHTML using Selenium