使用 anacoda 安装scrapy

1)安装scrapy

在Anacoda Prompt 中输入：  

 condainstall scrapy 

输入y回车表示允许安装依赖库：y

 

测试scrapy 是否安装成功：

 

完成后，再输入命令查看scrapy 依赖的包：

conda install service_identity

在pycharm 中选中anaconda

 

2)编写第一个 spider

文件名: firstspider.py

import scrapy
class Firstspider(scrapy.Spider):
    name = "quotes"
    start_urls = [
        'http://quotes.toscrape.com/tag/humor/',
    ]
    def parse(self, response):
        for quote in response.css('div.quote'):
            yield {
                'text': quote.css('span.text::text').extract_first(),
                'author': quote.xpath('span/small/text()').extract_first(),
            }
        next_page = response.css('li.next a::attr("href")').extract_first()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

 

在anaconda promt 中执行下面的命令，会看到生成一个json 文件:

scrapy runspider firstspider.py -oquotes.json