CYHISTW

Scrapy

官方介绍是

An open source and collaborative framework for extracting the data you need from websites.

In a fast, simple, yet extensible way.

意思就是

一个开源和协作框架,用于以快速,简单,可扩展的方式从网站中提取所需的数据。


 

环境准备

本文项目使用环境及工具如下

  • python3
  • scrapy
  • mongodb

python3 scrapy的安装就不再叙述

mongodb是用来存储数据的nosql非关系型数据库 官方下载地址https://www.mongodb.com/download-center/community?jmp=docs

mongodb图形化管理工具推荐使用nosqlmanager


 项目创建

没错,我们还是挑软柿子捏,就爬取最简单的豆瓣电影top250

分类:

技术点:

相关文章: