如何使用 Jsoup 解析内部和外部超链接 [关闭]

【问题标题】：How to use the Jsoup to parse internal and external hyperlinks [closed]如何使用 Jsoup 解析内部和外部超链接 [关闭]
【发布时间】：2021-02-14 04:50:54
【问题描述】：

我正在练习网页抓取，我想知道如何只抓取内部和外部超链接。我可以按照 Jsoup 文档检索页面的所有链接，但我仍然不知道如何执行此操作。

提前感谢您的帮助

【问题讨论】：

在结果列表中与站点的基本 url 进行简单的字符串匹配？
如果您想要 internal 和 external 链接 - 该列表是否不包括所有链接？如果您已按照 JSoup 文档 获取所有链接...听起来您已经完成了！
@Y2020-09 我的目标是单独检索它们。
我仍然不知道你在说什么Crock，虽然现在你有一个你喜欢的答案...祝你好运你的软件。

标签： java hyperlink jsoup

【解决方案1】：

您可以尝试使用 Document.getElementsByAttributeValueMatching() 方法，使用适当的正则表达式按属性名称和属性值查找元素。

例如，查找属性名称为“href”且属性值以https://example.com开头的所有元素

    Document document = Jsoup.connect("https://example.com").get();
    Elements elements = document.getElementsByAttributeValueMatching("href", "^https://example.com");

    for (Element element : elements) {
        System.out.println(element.attr("href"));
    }

还有一些类似的方法：

Document.getElementsByAttributeValueStarting()
Document.getElementsByAttributeValueContaining()

【讨论】：