如何使用 Jsoup 爬取单个网站？答案

【问题标题】：How to Crawl Over a Single Website using Jsoup?如何使用 Jsoup 爬取单个网站？
【发布时间】：2014-07-22 16:32:54
【问题描述】：

我从网站主页开始。我正在解析整个网页，我正在收集该主页上的所有链接并将它们放入队列中。然后我从队列中删除每个链接并做同样的事情，直到我得到我想要的文本。但是，如果我得到一个类似 youtube.com/something 的链接，那么我将访问 youtube 上的所有链接。我想限制这个。

我只想在同一个域中进行爬网。我该怎么做？

private void crawler() throws IOException {
    while (!q.isEmpty()){
        String link  = q.remove();
        System.out.println("------"+link);
        Document doc = Jsoup.connect(link).ignoreContentType(true).timeout(0).get();
        if(doc.text().contains("publicly intoxicated behavior or persistence")){
            System.out.println("************ On this page ******************");
            System.out.println(doc.text());
            return;
        }
        Elements links = doc.select("a[href]");
        for (Element link1 : links){ 
            String absUrl = link1.attr("abs:href");
            if (absUrl == null || absUrl.length() == 0) {
                continue;
            }
//          System.out.println(absUrl);
            q.add(absUrl);
        }
    }
}

【问题讨论】：

标签： java jsoup web-crawler

【解决方案1】：

This article 展示了如何编写网络爬虫。以下行强制所有抓取的链接位于mit.edu 域中。

if(link.attr("href").contains("mit.edu"))

该行可能存在错误，因为相对 URL 没有域。我建议添加abs: 可能会更好。

if(link.attr("abs:href").contains("mit.edu"))

【讨论】：