如何使用 jsoup 从站点获取指向页面的可导航链接？

Question

我正在实现一个基本的爬虫，目的是稍后在漏洞扫描器中使用。我正在使用 jsoup 来连接/检索和解析 html 文档。

我手动提供目标站点 (www.example.com) 的基础/根目录并连接。

...
Connection connection = Jsoup.connect(url).userAgent(USER_AGENT);
Document htmlDocument = connection.get();
this.htmlDocument = htmlDocument;
...

然后我检索页面上的所有链接。

...
Elements linksOnPage = htmlDocument.select("a[href]");
... 

之后，我在链接之间循环并尝试获取网站上所有页面的链接。

for (Element link : linksOnPage) {
                this.links.add(link.absUrl("href"));
    }

问题如下。根据我获得的链接，有些可能不是指向新页面的链接，甚至根本不是指向页面的链接。例如，得到的链接如下：

• https://example.example.com/webmail

• http://193.231.21.13

• mailto:example.example@exampl.com

我需要一些帮助来过滤链接，以便我只获得指向同一根/基本站点的新页面的链接。

Answer 1

这很容易。检查absUrl是否以图片格式或js或css结尾：

if(absUrl.startsWith("http://www.ics.uci.edu/") && !absUrl.matches(".*\\.(bmp|gif|jpg|png|js|css)$")) 
{

    //here absUrl starts with domain name and is not image or js or css
}