如何使用 Python Scrapy 模块列出我网站上的所有 URL？答案

【问题标题】：How do I use the Python Scrapy module to list all the URLs from my website?如何使用 Python Scrapy 模块列出我网站上的所有 URL？
【发布时间】：2012-03-22 14:13:30
【问题描述】：

我想使用 Python Scrapy module 从我的网站上抓取所有 URL 并将列表写入文件。我查看了示例，但没有看到任何简单的示例。

【问题讨论】：

StackOverflow 不是一个要求人们为您编写代码的网站 - 尝试一些事情，然后就您遇到的特定问题提出问题。
你试过那里的教程吗？这很不言自明。如果您/已经/尝试过本教程但仍然遇到问题，请尝试发布您首先尝试过的一些代码（+1 @Amber）
Amber 和inspectorG4dget，我编写了执行此操作的程序，但还不能发布它，因为我没有足够的声誉 - 有一个等待时间。明天早上我会发布解决方案。

标签： python web-crawler scrapy

【解决方案1】：

这是对我有用的 python 程序：

from scrapy.selector import HtmlXPathSelector
from scrapy.spider import BaseSpider
from scrapy.http import Request

DOMAIN = 'example.com'
URL = 'http://%s' % DOMAIN

class MySpider(BaseSpider):
    name = DOMAIN
    allowed_domains = [DOMAIN]
    start_urls = [
        URL
    ]

    def parse(self, response):
        hxs = HtmlXPathSelector(response)
        for url in hxs.select('//a/@href').extract():
            if not ( url.startswith('http://') or url.startswith('https://') ):
                url= URL + url 
            print url
            yield Request(url, callback=self.parse)

将其保存在名为 spider.py 的文件中。

然后您可以使用 shell 管道对该文本进行后期处理：

bash$ scrapy runspider spider.py > urls.out
bash$ cat urls.out| grep 'example.com' |sort |uniq |grep -v '#' |grep -v 'mailto' > example.urls

这为我提供了我网站中所有唯一网址的列表。

【讨论】：

这很酷。你已经得到了答案。现在继续接受答案......哦，是的，可能会有一个“自学者”徽章等着你。 :)
这个程序有一个小错误。 if not url.startswith('http://'): 行无法正确处理 https 链接。
@JoshuaSnider 我更新了它。但这是示例代码的简短 sn-p，因此并不意味着对所有情况都具有权威性。

【解决方案2】：

使用LinkExtractor 会更简洁（也许更有用）

from scrapy.linkextractors import LinkExtractor

    def parse(self, response):
        le = LinkExtractor() # empty for getting everything, check different options on documentation
        for link in le.extract_links(response):
            yield Request(link.url, callback=self.parse)

【讨论】：

这会返回网站内部的链接还是外部链接？