如何设置代理隐藏我的IP地址以使用dryscrape抓取网页

【问题标题】：How to set proxy To hide my IP address for scraping the webpage using dryscrape如何设置代理隐藏我的IP地址以使用dryscrape抓取网页
【发布时间】：2014-09-29 16:48:19
【问题描述】：

我有很多活动的公共代理，我想用它们来抓取一些页面。

谁能告诉我如何在dryscrape中设置代理？

https://github.com/niklasb/dryscrape

我尝试使用 python 设置 sys env http_proxy，但没有成功。

【问题讨论】：

标签： python proxy web-scraping scrape

【解决方案1】：

您可以使用dryscrape.Session.set_proxy 方法设置代理。

例如：

my_session = dryscrape.Session(base_url = 'https://stackoverflow.com')
my_session.set_proxy('127.0.0.1', 9000)

【讨论】：

这给了我错误：webkit_server.InvalidResponseError: {"class":"InvalidResponseError","message":"Unable to load URL: google.com because of error loading google.com: Unknown错误”}
好像我的环境配置不正确
@RenatoPrado 嘿，我遇到了同样的问题“无法加载 URL ......因为加载错误......”我知道这是很久以前的事了，但你有工作解决方案现在进行吗？什么是环境？
@DaveAaronSmith，抱歉，我不记得出了什么问题。