使用 selenium 和 phantomJS 和 python 在 iframe 中获取完全生成的 DOM 元素

Question

好的，我卡住了。我使用 selenium 和 PhantomJS 制作了一个小的网络抓取 python 脚本。我正在处理的页面在我的网络驱动程序未运行的 iframe 文档中包含我想要的数据。

<main Page Heads etc>

   <blah>

   <iframe 1 src="src1" ... etc etc>
    #document
      <tag>
      <tag>
      <iframe2 src="src2"><iframe2>
   <iframe1>

   <blah>

<end of webpage DOM>

我想得到iframe2 的src。我试图通过我的网络驱动程序运行src1 URL，但我得到的只是原始页面 html，而不是加载的网页元素，iframe2 必须由iframe1 中的某些脚本创建，但我无法获得我的webdriver 来运行脚本。

有什么想法吗？

这就是我在网页上运行 javascript 以获取已编译的页面 DOM：

from selenium import webdriver 

self.driver = webdriver.PhantomJS()
self.driver.get(url)
page = self.driver.page_source
soup = BeautifulSoup(page,'html.parser')

Answer 1

您无法获得完整的 page_source。在iframe的情况下，你应该使用下面的命令：switch_to.frame(iframe_element)，这样你就可以得到一个里面的元素

from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC

self.driver = webdriver.PhantomJS()
self.driver.get(url)



WebDriverWait(self._driver, 50).until(
            EC.presence_of_all_elements_located
            ((By.XPATH,
              '//iframe[@id="iframegame"]'))
        )

iframe_element = self.driver.find_element_by_xpath('//iframe[@id="iframegame"]')

self.driver.switch_to.frame(iframe_element)

tag = self.driver.find_element_by_xpath('//tag')

再次返回，您可以使用以下命令获取 iframe 的外部元素；

self.driver.switch_to.default_content()