爬虫-requests模块的使用

相比于urllib模块，requests模块使用起来更简洁方便。requests支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动确定响应内容的编码，支持国际化的 URL 和 POST 数据自动编码。requests的底层实现其实就是urllib3。

一、安装

sudo pip3 install requests

二、基本GET请求（headers参数和params参数）

• 最基本的GET请求可以直接使用get方法

  import requests
  
  response = requests.get("https://www.baidu.com/")
  
  # 也可以写成
  # response = requests.request("get", "https://www.baidu.com/")

• 添加headers和查询参数

　　如果想添加headers，可以传入headers参数来增加请求头中的headers信息。如果要将参数放在url中传递，可以利用 params 参数，并且url后面的\'?‘可以不加

• import requests
  
  kw = {\'wd\':\'长城\'}
  
  headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
  
  # params 接收一个字典或者字符串的查询参数，字典类型自动转换为url编码，不需要urlencode()
  response = requests.get("http://www.baidu.com/s", params = kw, headers = headers)
  
  # 查看响应内容，response.text 返回的是Unicode格式的数据
  print(response.text)
  
  # 查看响应内容，response.content返回的字节流数据
  print(respones.content)
  
  # 查看完整url地址
  print(response.url)
  
  # 查看响应头部字符编码
  print(response.encoding)
  
  # 查看响应码
  print(response.status_code)

  使用response.text 时，requests 会基于 HTTP 响应的文本编码自动解码响应内容，大多数 Unicode 字符集都能被无缝地解码。使用response.content 时，返回的是服务器响应数据的原始二进制字节流，可以用来保存图片等二进制文件。

三、基本POST请求（data参数）

• 最基本的POST请求，可以直接使用post方法

  import requests
  
  resp = requests.post(\'https://www.baidu.com/\'，data = data)

• 传入data数据，示范一个有道翻译的例子

  import requests
  
  formdata = {
      \'i\':\'I love you\',
      "from":\'AUTO\',
      "to":\'AUTO\',
      "smartresult":"dict",
      "client":"fanyideskweb",
      "doctype":"json",
      "version":"2.1",
      "keyfrom":"fanyi.web",
      "action":"FY_BY_REALTlME"
  
  }
  
  url = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=null"
  
  headers={ "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36"}
  
  response = requests.post(url, data = formdata, headers = headers)
  print(response.text)
  
  # 如果是json文件可以直接显示,返回的是dict类型
  print(response.json())

• 发送json类型的数据

1. 1. 利用data参数传递，但是数据需要序列化成Json字符串，同时传入headrs中必须指明‘Content-Type\':’application/json‘

      import requests
      import json
      url = \'https://openapi.vmall.com/mcp/offlineshop/getShopList\'
      headers = {
          \'User-Agent\': \'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36\',
          \'Content-Type\':\'application/json\'
      }
      # 将json类型的数据转换成字典类型的数据
      data = {
      "portal":2,"lang":"zh-CN","country":"CN","brand":1,"province":"山西","city":"太原","pageNo":1,"pageSize":20
      }
      
      # 调用json.dumps()方法，将数据以json格式传递
      resp = requests.post(url=url, headers=headers, data=json.dumps(data))
      
      print(resp.text)

   2. 利用json参数传递dict类型数据，不需要提前转换成json字符串

      import requests
      
      url = \'https://openapi.vmall.com/mcp/offlineshop/getShopList\'
      headers = {
          \'User-Agent\': \'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36\'
      }
      json = {"portal":2,"lang":"zh-CN","country":"CN","brand":1,"province":"山西","city":"太原","pageNo":1,"pageSize":20}
      
      # 直接给post方法中的json参数赋值，赋dict类型的数据
      response = requests.post(url=url, headers=headers, json=json)
      print(response.text)

      传入json参数时，会自动将传入的数据进行json序列化，同时headers中设置\'Content-Type\'为‘application/json’。

四、上传文件（files）

• post方式上传文件可以利用files参数，通过这个参数来表明使用的是multipart/form-data编码。files参数是一个dict类型，它可以是{‘file’:文件对象}，也可以是{\'file\':文件元组}。文件元组可以是二元的（文件名，文件对象），三元的（文件名，文件对象，MIME类型），四元的（文件名，文件对象，MIME类型，dict类型的headers）

  import requests
  
  #打开图片文件
  with open(\'test.jpg\',\'rb\') as f:
      file_data = f.read()
  
  headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
  
  #files参数dict的值为文件对象
  resp1 = requests.post(\'https://httpbin.org/post\',files = {\'file\':file_data},headers=headers)
  
  #二元元组
  resp2 = requests.post(\'https://httpbin.org/post\',files = {\'file\':(\'test.jpg\',file_data)},headers=headers)
  
  #三元元组
  resp3 = requests.post(\'https://httpbin.org/post\',files = {\'file\':(\'test.jpg\',file_data,\'image/jpeg\')},headers=headers)
  
  #四元元组
  resp4 = requests.post(\'https://httpbin.org/post\',files = {\'file\':(\'test.jpg\',file_data,\'image/jpeg\',{\'Expires\': \'0\'})},headers=headers)
  
  print(resp1.text)
  print(resp2.text)
  print(resp3.text)
  print(resp4.text)

五、请求超时设置（timeout）

• 可通过timeout参数设置请求的超时时间，如果为浮点型，则表示总的请求超时时间，超时则报异常。也可以通过元组的形式分别设置连接超时时间和读取超时时间，timeout=（connect timeout,read timeout）。

  import requests
  
  #设置总的超时时间4.0秒
  resp = requests.request(\'GET\',\'https://httpbin.org/get\',timeout=4.0)
  
  #设置连接超时时间2.0秒，读取超时时间4.0秒
  #resp = requests.request(\'GET\',\'https://httpbin.org/get\'，timeout=(2.0,4.0))
  
  #将返回的json数据转换成dict类型
  print(resp.json()）

六、代理（proxies）

如果需要使用代理，你可以为任意请求方法提供 proxies 参数来配置单个请求：

import requests

# 根据协议类型，选择不同的代理
proxies = {
  "http": "http://12.34.56.79:9527",
  "https": "https://12.34.56.79:9527",
}

resp = requests.get("https://www.baidu.com", proxies = proxies)
print(resp.text)

• 私密代理验证（特定格式）

  import requests
  
  # 如果代理需要使用HTTP Basic Auth，可以使用下面这种格式：
  proxy = { "http": "mr_mao_hacker:sffqry9r@61.158.163.130:16816" }
  
  resp = requests.get("http://www.baidu.com", proxies = proxy)
  print(resp.text)

七、Web客户端验证（auth参数）

import requests

#添加 auth = (账户名, 密码)
auth=(\'test\', \'123456\')

resp = requests.get(\'http://192.168.199.107\', auth = auth)
print(resp.text)

八、Cookies和Session

• Cookies：

  • 如果一个响应中包含了cookie，那么我们可以利用 cookies参数拿到

    import requests
    
    response = requests.get("http://www.baidu.com/")
    
    #  返回CookieJar对象:
    cookiejar = response.cookies
    
    # 将CookieJar转为字典：
    cookiedict = requests.utils.dict_from_cookiejar(cookiejar)
    
    print(cookiejar)
    
    print(cookiedict)

• Session

  • 在 requests 里，session对象是一个非常常用的对象，这个对象代表一次用户会话：从客户端浏览器连接服务器开始，到客户端浏览器与服务器断开。
  • 会话能让我们在跨请求时候保持某些参数，比如在同一个 Session 实例发出的所有请求之间保持 cookie 。

    import requests
    
    # 1. 创建session对象，可以保存Cookie值
    ssion = requests.session()
    
    # 2. 处理 headers
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
    
    # 3. 需要登录的用户名和密码
    data = {"email":"mr_mao_hacker@163.com", "password":"alarmchime"}  
    
    # 4. 发送附带用户名和密码的请求，并获取登录后的Cookie值，保存在ssion里
    ssion.post("http://www.renren.com/PLogin.do", data = data, headers=headers)
    
    # 5. ssion包含用户登录后的Cookie值，可以直接访问那些登录后才可以访问的页面
    resp = ssion.get("http://www.renren.com/410043129/profile")
    
    # 6. 打印响应内容
    print(resp.text)

九、HTTPS请求SSL证书验证（verify参数）

• 要想检查某个主机的SSL证书，你可以使用 verify 参数（也可以不写），默认verify = True表示开启验证

  import requests
  
  resp = requests.get("https://www.baidu.com/", verify=True)
  
  # 也可以省略不写
  # resp = requests.get("https://www.baidu.com/")
  print(resp.text)

• 关闭验证，只需要将verify参数设为False

  import requests
  
  resp = requests.get("https://www.12306.cn/mormhweb/", verify = False)
  print(resp.text)