这期间,已经使用了 User-Agent,并且源连接直接在浏览器打开并不跳转,也使用requests测试,发现并没有被重定向。

搜索很久很久无果,然后无奈开始关注 [scrapy.downloadermiddlewares.redirect] DEBUG 这个东西难道是我开启了某个配置,检查完并没有配置与这个相关的,但是突然发现我竟然配置了一个 DEFAULT_REQUEST_HEADERS

这个是之前做百度搜索时配置的,里面指定了host,爬虫一加载就会使用这个header,结果这里指定的host跟源链接里面的不匹配,就发生了重定向。后面一注释就好了..

相关文章:

  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2021-06-07
  • 2021-12-06
  • 2021-09-09
猜你喜欢
  • 2021-08-09
  • 2022-12-23
  • 2022-12-23
  • 2021-10-22
  • 2022-12-23
  • 2021-05-30
  • 2021-05-20
相关资源
相似解决方案