爬虫--代理池（requests 人人网实战）

IP代理：

原因

1. 让服务器认为不是同一个客户端的请求
2. 不易追踪自己的ip

检查可用性

1. 使用requests加超时参数，判断ip质量
2. 在线代理ip质量检测网站

代理池

字典形式，一堆ip，随机使用

用户代理：

代理池

使用一堆带有cookie的请求组成用户代理池

使用思路

1. 实例化session
2. 使用session发送请求，登陆网站，将cookie保存在session中
3. 再使用session请求登陆之后才能访问的网站（session可以自动携带登陆成功时保存的cookie进行请求）

实战