通过 Selenium + XPath 在 Morningstar.com 上进行 Python 网页抓取

Question

我正在尝试使用 Selenium 库在 Morningstar.com 上抓取与共同基金和 ETF 相关的数据，但以下代码不起作用：

from selenium import webdriver

driver = webdriver.Chrome()
link = "https://www.morningstar.com/etfs/bats/maga/quote.html"
driver.get(link)

TNA = driver.find_elements_by_xpath('//td[@class="gr_table_colm2b"]//span[@id="NAV"]')
print(TNA)
currency = driver.find_elements_by_xpath('//span[@class="gr_text3" and @id="navCurrency"]')
print(currency)

driver.close()

它有什么问题？ 我已经检查过 Selenium 实际上是通过远程打开 Chrome 并且 XPath 在 HTML 代码中找到了正确的模式。

Answer 1

由于 iFrame（本质上是网页中的网页），您遇到了问题。要访问 iFrame 中的项目，您需要先切换到它。

``` 
Define path of iFrame desired. I used a @src contains 
since there are multiple iFrames on the page.
``` 
iframe = driver.find_element_by_xpath("//iframe[contains(@src,'.com/quote')]")
driver.switch_to.frame(iframe);

# I added the text part since I figured that was what you ultimately wanted.
TNA = driver.find_elements_by_xpath('//td[@class="gr_table_colm2b"]//span[@id="NAV"]')[0].text
print(TNA)
currency = driver.find_elements_by_xpath('//span[@class="gr_text3" and @id="navCurrency"]')[0].text
print(currency)

27.79  
USD

假设你想切换回原来的页面，使用下面的代码。

driver.switch_to.default_content()