Scrapy 不会抓取任何东西

Question

Scrapy Crawler 在终端中运行代码时正在爬行，但是当我在编辑器中运行代码时它不起作用。我的代码是：

from scrapy import Spider
from selenium import webdriver
from scrapy.selector import Selector
from scrapy.http import Request
class BooksSpider(Spider):
    name = 'books'
    allowed_domains = ['books.toscrape.com']


def start_request(self, response):
    self.driver=webdriver.Chrome(r'C:\Users\Night-Watch\Desktop\chromedriver.exe')
    self.driver.get('http://books.toscrape.com')
    sel=Selector(text=self.driver.page_source)


    books=sel.xpath('//h3/a/@href').extract()
    print(books)

Answer 1

1. 您确定要使用 Selenium 抓取简单的测试站点吗？开销很大。
2. 您能否提供错误文本和堆栈跟踪以了解情况的全貌。