使用 Selenium WebDriver 和 Java 从页面源中获取所有 href 链接

Question

我正在尝试测试页面上所有 href 链接的 HTTP RESPONSE，使用 WebDriver 从页面中获取所有链接，然后使用 http.connect 获取响应状态。

代码sn-p获取锚标签的链接：

List<WebElement> list = driver.findElements(By.cssSelector("a"));
for (WebElement link : list) {
    System.out.println(link.getText());
}

但是我的页面有更多没有锚标记<a> 的href 链接，并且可能位于页眉部分的页面主体之外。一些示例如下所示。上面的 webdriver 代码无法解决获取所有类型的链接。某些情况下还需要提取src链接...

<script src="https://www.test.com/js/50/f59ae5bd.js"></script> 
<link rel="stylesheet" href="www.test.com/css/27/5a92c391c7be2e9.css" rel="stylesheet" type="text/css" />
<link sizes="72x72" href="https://www.test.com/css/27/5a92c391c7b/kj32.png" />
<li><a href="https://www.test.com/webapps/mpp/resortcheck">resortcheck</a>

如果有人可以指导如何处理或解决了从页面获取所有 href 链接的类似问题，我将不胜感激。

Answer 1

可以使用Xpath获取所有包含属性href/src的元素。

List<WebElement> list=driver.findElements(By.xpath("//*[@href or @src]"));

我尝试了类似的方法来获取指向其他资源文件的所有链接。它工作正常。

       WebDriver driver = new FirefoxDriver();
       driver.get("http://www.google.com");

       List<WebElement> list=driver.findElements(By.xpath("//*[@href or @src]"));

       for(WebElement e : list){
           String link = e.getAttribute("href");
           if(null==link)
               link=e.getAttribute("src");
           System.out.println(e.getTagName() + "=" + link);
       }

Answer 2

链接存在于正文之外是什么意思？

所有链接都可以通过 html 标签来识别。还有哪些其他方式来表示链接？

检查我下面的代码可能会有所帮助：

public static void main(String[] args)
{
    WebDriver driver = new FirefoxDriver();
    driver.get("http://www.google.com/");
    List<WebElement> links=driver.findElements(By.tagName("a"));
    for(WebElement ele:links)
        System.out.println(ele.getAttribute("href"));
}