Scrapy
官方介绍是
An open source and collaborative framework for extracting the data you need from websites.
In a fast, simple, yet extensible way.
意思就是
一个开源和协作框架,用于以快速,简单,可扩展的方式从网站中提取所需的数据。
环境准备
本文项目使用环境及工具如下
- python3
- scrapy
- mongodb
python3 scrapy的安装就不再叙述
mongodb是用来存储数据的nosql非关系型数据库 官方下载地址https://www.mongodb.com/download-center/community?jmp=docs
mongodb图形化管理工具推荐使用nosqlmanager
项目创建
没错,我们还是挑软柿子捏,就爬取最简单的豆瓣电影top250