示例:

不带cookie:

带cookie验证解决方法

带cookie结果;

带cookie验证解决方法

分析cookie:示例

带cookie验证解决方法

无论是什么设备,第一次访问该站,都会弹出一个521的错误状态码,与此同时还会返回一个Cookie。

浏览器接受到状态码与Cookie,会再次进行一次请求,因为接收到了Set-Cookie,所以第二次的Request Headers会附上之前接收到cookie

带cookie验证解决方法

这样的请求才是成功的。

这个防爬虫的方法非常基础,利用了普通爬虫与浏览器对于Status Code的处理方式不同。

你要爬取,只需要先请求一次,获得一个Cookie并保存,然后之后所有的请求都附上这个保存下来的Cookie,这样就行了。

爬虫的要诀在于:尽力模仿用户使用浏览器的行为。

相关文章:

  • 2022-12-23
  • 2022-01-23
  • 2021-12-27
  • 2021-04-16
  • 2021-12-06
  • 2021-12-16
  • 2022-02-13
猜你喜欢
  • 2022-12-23
  • 2021-07-21
  • 2022-12-23
  • 2022-01-16
  • 2022-12-23
  • 2022-12-23
  • 2021-07-25
相关资源
相似解决方案