Selenium/python - 单击特定 div 中的所有元素

Question

我正在学习使用 selenium 进行抓取，并且正在尝试其中一个 SAP 页面。

链接是： https://help.sap.com/viewer/2e167338c1b24da9b2a94e68efd79c42/4.2.4/en-US/

我打算做的是在目录面板上显示此页面的所有叶子/最后一级 URL。不幸的是，这些链接不是 html 的，只有当我们点击左侧面板上的每个侧边按钮时，它才会展开，而且，每个按钮点击都可以有更多的嵌套按钮！我需要点击所有这些并获取基础数据。

我从识别 xpath 开始并尝试单击它们，但它给出了以下错误：

import time
driver = webdriver.Chrome("/Users/tarun/Downloads/chromedriver")

driver.get("https://help.sap.com/viewer/2e167338c1b24da9b2a94e68efd79c42/4.2.4/en-US/")
time.sleep(20) #tried this
htmlSource = driver.page_source

buttonsSidePanel = driver.find_elements_by_xpath('//*[@id="toc"]/treecontrol/div/div[*]/div[1]/div[1]')
#also tried - //*[@id="toc"]/treecontrol/div/div[*]/div[1]/div[1]/span[1]
for x in buttonsSidePanel:
    x.click()
    time.sleep(1)


driver.close()

错误：ElementNotVisibleException: Message: element not visible

在这方面我有几个问题（如果其中一些是天真的很抱歉） 1.）当我检查元素时，元素在 html 中可见！我无法弄清楚做错了什么？

1. 另外，如果单击按钮显示更多按钮，我如何递归单击底层按钮，或者有什么方法可以一次单击所有按钮然后抓取数据？我查看了一些 stackoverflow 问题，但无法解决我的任务

3.)点击按钮后，现在我们如何抓取新生成的内容？

Answer 1

您可以尝试使用 selenium 的 execute_script 运行简单的 js 脚本。 试试这个。你也可以使用类名来识别。

jscode='''
var allButtons=document.getElementsByClassName('collapseicon');
for( b of allButtons){
   b.click();
 }
'''

driver.execute_script(jscode);

还要抓取包括子下拉菜单在内的所有页面内容/响应，在下面的调用中使用，请求模块来检查这一点，

import requests
url = "https://help.sap.com/http.svc/getpagecontent?deliverableInfo=1&deliverable_loio=2e167338c1b24da9b2a94e68efd79c42&language=en-US&state=PRODUCTION&toc=1&version=4.2.4"
r = requests.get(url)
print (r.json())

Answer 2

这可能是因为请求的元素不立即可见并且连接继续进行。

尝试使用预期条件等待（EC 等待）。

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
button = WebDriverWait(driver, 30).until(EC.presence_of_element_located((By.XPATH, '//*[@id="toc"]/treecontrol/div/div[*]/div[1]/div[1]')))

这将等到元素可见，然后执行进一步的步骤。