【问题标题】:Scrapy domain_name for spider蜘蛛的 Scrapy 域名
【发布时间】:2012-12-25 20:16:34
【问题描述】:

来自 Scrapy 教程:

domain_name:标识蜘蛛。必须是唯一的,即不能为不同的Spider设置相同的域名。

这是否意味着domain_name必须是一个有效的域名,比如

domain_name = 'example.com'

或者我可以命名

domain_name = 'ex1'

问题是我有一个使用域名的蜘蛛

domain_name = 'whitecase.com'

现在我创建了一个新的蜘蛛作为 CrawlSpider 的实例并命名它

domain_name = 'wc2'

但我收到错误"could not find spider for domain "wc2""

【问题讨论】:

    标签: python scrapy


    【解决方案1】:

    回答我自己的问题:

    domain_name = 'wc2'

    有效。

    【讨论】:

      【解决方案2】:

      正如您自己发现的那样,domain_name 不应该是真实的。调用蜘蛛爬行时使用。

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 1970-01-01
        • 2018-11-29
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多