Python Selenium driver.get() 没有打开我所有的 URL

Question

我有一段代码如下（不是完整代码，只是我查询的相关sn-p）：

linkedin_urls = driver.find_elements_by_xpath('//*[@href]')

for linkedin_url in linkedin_urls:
   hopeful = linkedin_url.get_attribute('ping')
   if hopeful and len(hopeful) > 0:
       actual = hopeful[31:]
       new = actual[:-50]
       if new.startswith('https://uk.linkedin.com'):
          print(new) 
          #driver.get(new)
          time.sleep(2) 

当我打印结果时，每个linkedin URL 都正确打印，没有错误。当我手动将这些复制并粘贴到搜索栏中时，它们都会打开所需的配置文件。但是，如果我删除 driver.get(new) 前面的 # 并运行该部分，它会打开列表中的第一个linkedin url，然后出现以下错误

"Message: stale element reference: element is not attached to the page document". 

我不知道为什么所有的网址都打印正确，如果手动复制并粘贴到搜索栏中，每个网址都会打开所需的页面。我希望所有的网址都一个一个打开。

任何帮助将不胜感激！

亲切的问候，

德里赫

Answer 1

“消息：过时的元素引用：元素未附加到页面文档”。

这说明当您导航到新页面时，页面会刷新，并且初始化的元素不再引用该页面。

要解决此问题，您需要再次重新初始化元素。

linkedin_urls = driver.find_elements_by_xpath('//*[@href]')

for linkedin_url in range(len(linkedin_urls)):

   #Re-Initialized the elements again 
   linkedin_urls = driver.find_elements_by_xpath('//*[@href]')

   hopeful =linkedin_urls[linkedin_url].get_attribute('ping')
   if hopeful and len(hopeful) > 0:
       actual = hopeful[31:]
       new = actual[:-50]
       if new.startswith('https://uk.linkedin.com'):
          print(new)
          driver.get(new)
          driver.back()
          time.sleep(2) 

希望你照顾好这个。

Answer 2

当行 driver.get(new) 时，您使用 driver.find_elements_by_xpath('//*[@href]') 发现的元素正在从您的 DOM 中删除，这解释了您的错误消息。

Answer 3

正如 ZolouDu 解释的那样，错误是由于引用了您从其中抓取 URL 的上一页的 DOM 元素。现在，当加载新页面时，旧引用会丢失，从而导致错误。

您可以做的是将这些引用的字符串转换为实际的字符串。只需使用以下行来创建新列表，而不是您正在使用的列表。

new=[str(b) for b in actual[:-50]]