爬虫学习笔记一

1.浏览器请求url，在Chrome中点检查，从network中的response中看到当前相应。
2.url=请求协议+网站的域名+资源路径+参数。?后面的带%即为参数，可用url解码器解码。
3.当前url对应相应+js+css+图片->elements中内容。但是爬虫中的相应应该以当前url地址对应的相应为准提取数据。
4.HTTP与HTTPS不加密与加密。

5.请求:USER_Agent
请求行
请求头:用户代理，根据不同需求修改USER_Agent
6.Cookie:用来存储用户信息，每次请求都会被携带上发送给对方浏览器。
7.请求体:
get请求无请求体，post有，get请求把数据放在url地址中。
post请求用于用户登录，数据传输，其携带数据量比get大，常用于传输大文本的时候。
8.响应:SET COOKIE对方浏览器设置COOKIE到本地