使用 Scrapy 查找并抓取具有特定格式的所有 URL

Question

我正在使用 Scrapy 检索有关 https://www.indiegogo.com 上的项目的信息。我想用 url 格式www.indiegogo.com/projects/[NameOfProject] 抓取所有页面。但是，我不确定如何在爬网期间访问所有这些页面。我找不到硬编码链接到所有/projects/ 页面的母版页。所有项目似乎都可以从https://www.indiegogo.com/explore 访问（通过可见链接和搜索功能），但我无法确定将返回所有页面的链接/搜索查询集。我的蜘蛛代码如下。这些 start_urls 和规则刮掉了大约 6000 个页面，但我听说应该有接近 10 倍的数量。

关于带参数的url：使用的filter_quick参数值来自Explore页面上的“Trending”、“Final Countdown”、“New This Week”和“Most Funded”链接，显然错过了不受欢迎和差的资助的项目。 per_page url 参数没有最大值。

有什么建议吗？谢谢！

class IndiegogoSpider(CrawlSpider):
name = "indiegogo"
allowed_domains = ["indiegogo.com"]
start_urls = [
    "https://www.indiegogo.com/sitemap",
    "https://www.indiegogo.com/explore",
    "http://go.indiegogo.com/blog/category/campaigns-2",
    "https://www.indiegogo.com/explore?filter_browse_balance=true&filter_quick=countdown&per_page=50000",
    "https://www.indiegogo.com/explore?filter_browse_balance=true&filter_quick=new&per_page=50000",
    "https://www.indiegogo.com/explore?filter_browse_balance=true&filter_quick=most_funded&per_page=50000",
    "https://www.indiegogo.com/explore?filter_browse_balance=true&filter_quick=popular_all&per_page=50000"
]
rules = (
    Rule(LinkExtractor(allow=('/explore?'))),
    Rule(LinkExtractor(allow=('/campaigns-2/'))),
    Rule(LinkExtractor(allow=('/projects/')), callback='parse_item'),
)
def parse_item(self, response):
    [...]

旁注：当我尝试在浏览器中加载它们时，还有其他 URL 格式 www.indiegogo.com/projects/[NameOfProject]/[OtherStuff] 会重定向到所需的 URL 格式或给出 404 错误。我假设 Scrapy 正在正确处理重定向和空白页，但愿意听取验证这一点的方法。

Answer 1

如果你有站点地图的链接，那么让 Scrapy 从那里获取页面并处理它们会更快。 这将像下面那样工作。

从 scrapy.contrib.spiders 导入 SitemapSpider

类 MySpider(SitemapSpider):

sitemap_urls = ['http://www.example.com/robots.txt']

//**您可以在sitemap_rules下设置提取URL的规则。

sitemap_rules = [
    ('/shop/', 'parse_shop'),
]
sitemap_follow = ['/sitemap_shops']

def parse_shop(self, response):
    pass # ... scrape shop here ...

Answer 2

试试下面的代码，这将爬取网站并且只爬取“indiegogo.com/projects/”

import scrapy

from scrapy.contrib.spiders import CrawlSpider, Rule

from scrapy.contrib.linkextractors import LinkExtractor

from sitemap.items import myitem

class DmozSpider(CrawlSpider):

    name = 'indiego'

    allowed_domains = ['indiegogo.com']

        start_urls = [

        'http://indiegogo.com'

    ]

rules = (Rule(LinkExtractor(allow_domains=['indiegogo.com/projects/']), callback='parse_items', follow= True),)

        def parse_items(self, response):

        item = myitem()

        item['link'] = response.request.url

        item['title'] = response.xpath('//title').extract()

        yield item