【问题标题】:What is this Scrapy error: ReactorNotRestartable?这个 Scrapy 错误是什么:ReactorNotRestartable?
【发布时间】:2021-12-18 21:43:48
【问题描述】:

我不明白为什么我的蜘蛛无法运行。我单独测试了css选择器,所以我认为不是解析方法。

回溯消息: ReactorNotRestartable:

class espn_spider(scrapy.Spider):
    name = "fsu2021_spider"
    def start_requests(self):
        urls = "https://www.espn.com/college-football/team/_/id/52"
        for url in urls: 
            yield scrapy.Request(url = url, callback = self.parse_front)
    def parse(self, response):
        schedule_link = response.css('div.global-nav-container li > a::attr(href)')
process = CrawlerProcess()
process.crawl(espn_spider)
process.start()

【问题讨论】:

    标签: python scrapy web-crawler


    【解决方案1】:

    urls = "https://www.espn.com/college-football/team/_/id/52" 对于网址中的网址:

    您正在浏览“urls”的字符,将其更改为列表:

    urls = ["https://www.espn.com/college-football/team/_/id/52"]
    ...
    ...
    

    另外你没有“parse_front”功能,如果你只是没有将它添加到sn-p然后忽略它,如果它是一个错误,那么将它更改为:

    yield scrapy.Request(url=url, callback=self.parse)
    

    【讨论】:

    • 谢谢!!!这很有帮助
    • 没问题,如果你接受我的回答,我将不胜感激。
    猜你喜欢
    • 1970-01-01
    • 2018-12-13
    • 1970-01-01
    • 2017-02-18
    • 1970-01-01
    • 2021-12-26
    • 2017-11-30
    相关资源
    最近更新 更多