urllib.request模块

  • urllib.request.urlopen(url) 向网站发起一个请求并获取响应,但不能重构User——Agent和data。
  • **a.rend()**读取响应的内容
  • **a,rend().decode(“utf-8”)**对响应进行的内容编码读取
  • urllib.request.Request"网址",headers=“字典”) 创建响应对象再对它用urllib.request.urlopen(url)
  • a.getcode()获取状态码
  • a.geturl() 返回实际数据的URL(防止重定向问题)
  • request.urlretrieve(url,‘文件名’)在“文件名”文件写入url的内容

urllib.parse模块

有时输入的汉字需要转换为ascll码才能访问网站

  • urllib.parse.urlencode(a) a为字典python爬虫urllib(自用)
  • urllib.parse.quote(key) key为字符串python爬虫urllib(自用)

相关文章: