python urllib2 无法获取正确的网页

Question

我正在使用 urllib2 和 beautifulsoup 编写蜘蛛。但是我遇到了一些问题。

1. 我无法正确下载网页。我试过了

   GET 'http://thesite.html',

   wget 'http://thesite.html',

   curl -O 'http://thesite.html',

在 linux 终端上，但质量很大，似乎是错误的编解码器。

1. 然后我尝试使用file_get_contents('http://thesite.html')，也无法获取正确的网页。

2. 然后我试了urllib2.urlopen('http://thesite.html')，不行。

3. 无法检测到编码。 s = urllib2.urlopen('http://thesite.html') print chardet.detect(s) 并输出{'confidence':0.0, 'encoding':None}
4. 我也用 urllib.request 尝试了 python3，我可以得到一个字节字符串，但是当我尝试将此字节解码为 utf-8 时，我收到一条错误消息。

有人可以帮我解决这个问题吗？如何像网络浏览器一样获取正确的网页。

Answer 1

你在下载什么？是文本还是二进制文件，例如图片？

二进制文件可以解释为什么 wget 和 curl 等标准工具会返回大量“质量”（混乱？），而chardet.detect() 在这种情况下会返回{'confidence': 0.0, 'encoding': None}。

>>> import urllib2
>>> import chardet

>>> s = urllib2.urlopen('http://i.stack.imgur.com/uIM9Q.png?s=32&g=1').read()    # your avatar
>>> chardet.detect(s)
{'confidence': 0.0, 'encoding': None}

你在 Python 3 中得到的字节串是什么样的？否则，如果您太腼腆而无法发布 URL、回溯或其他详细信息，也许您可​​以发布一些该字符串？