【发布时间】:2020-10-13 03:15:18
【问题描述】:
我正在开发一个网页抓取项目,该项目需要我向网站的某些页面发送请求。就目前而言,从我使用 Web 调试器看到的情况来看,我必须向站点的主页发送请求,以便获得包含访问站点其他部分所需的某些 cookie 的响应。目前这对我来说是必要的,因为我必须从响应标头中手动添加 cookie,这可能会很痛苦。
任何帮助将不胜感激。
【问题讨论】:
-
你有什么问题?
我正在开发一个网页抓取项目,该项目需要我向网站的某些页面发送请求。就目前而言,从我使用 Web 调试器看到的情况来看,我必须向站点的主页发送请求,以便获得包含访问站点其他部分所需的某些 cookie 的响应。目前这对我来说是必要的,因为我必须从响应标头中手动添加 cookie,这可能会很痛苦。
任何帮助将不胜感激。
【问题讨论】:
您需要为您的 http 客户端指定一个 cookie“jar”,它将提供一个持久的 cookie 位置,该位置将由客户端请求发送并根据响应中的 cookie 标头进行更新:
【讨论】: