在 Python 中打开一个 URL答案

【问题标题】：Open an URL in Python在 Python 中打开一个 URL
【发布时间】：2014-01-09 11:01:03
【问题描述】：

如何在 Python 中打开包含变量和键值的 URL？我尝试如下，但我收到了 400 错误请求。不过，在我的网络浏览器中打开文件（主机）似乎没有任何问题。也许是代理？

for verb in verbs:
    host = 'http://google.no/blabla?text=' + verb + '&pos=Any'
    checktext = '<font color="maroon">' + verb + '</font>'

    params = {'http': 'http://www.someproxy.com:3128'}

    req = urllib2.Request(host, urllib.urlencode(params))
    res = urllib2.urlopen(req)

    print res.read()

注意：知道了。当我将 None 作为 req (urllib.urlencode(params)) 中的第二个参数放入时，它可以工作。所以，一定是服务器不喜欢的代理。

【问题讨论】：

看看requests 库，它大大减少了python HTTP 的麻烦。

标签： python httprequest urlopen

【解决方案1】：

我不确定你在用params 做什么。 urllib2.Request 的第二个参数是要 POST 到服务器的数据。

使用Request 设置代理的方法是调用req.set_proxy(host, type) - 请参阅the documentation。

【讨论】：

【解决方案2】：

尝试使用 urllib2.build_opener：

import urllib2,cookielib

opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookielib.CookieJar()))
url = 'http://google.no/blabla'

for verb in verbs:
    data = '?text=' + verb + '&pos=Any' # not really sure how to fit your 'params' in here
    socket = opener.open(url,data)
    print socket.read()

【讨论】：