通过会话代理的 python 请求

Question

我有一个用例来从需要每次都通过会话请求的特定站点获取数据。我已经在 python 中创建了会话，并且设置了包含我登录详细信息的 cookie。

我目前在 数据中心 上托管我的脚本，但该帐户被阻止。我正在考虑通过代理请求数据，但仍然觉得如果我的会话是从另一台机器创建的，并且代理用于通过会话获取数据，那么代理 ip 被列入黑名单的可能性有多大?

这里有什么可能的解决方案来解决这类问题。

Answer 1

Python Requests Session 中的场景根据不同的地区而有所不同， 就像在某些国家/地区一样，由于国家/地区法律，请求中不允许使用某些标头。

由于您已经在进行登录会话，这意味着您的用户代理和其他标头正在根据登录请求的响应进行设置。

其中一个解决方案可能是使用一个国家的代理，该国家没有从该平台提取数据的严格规则。