【发布时间】：2012-03-20 18:50:59
【问题描述】：
我完全被 gae 搞糊涂了。我有一个脚本，它执行一个发布请求（使用来自 Google App Engine api 的 urlfetch）作为响应，我们得到一个 cp1251 编码的 html 页面。
然后我使用 .decode('cp1251') 对其进行解码并使用 lxml 进行解析。
我的代码在我的本地机器上运行良好：
import re
import leaf #simple wrapper for lxml
weekdaysD={u'понедельник':1, u'вторник':2, u'среда':3, u'четверг':4, u'пятница':5, u'суббота':6}
document = leaf.parse(leaf.strip_symbols(leaf.strip_accents(html_in_cp1251.decode('cp1251'))))
table=document.get('table')
trs=table('tr') #leaf syntax
for tr in trs:
tds=tr.xpath('td')
for td in tds:
if td.colspan=='3':
curweek=re.findall('\w+(?=\-)', td.text)[0]
curday=weekdaysD[td.text.split(u',')[0]]
但是当我将它部署到 gae 时，我得到：
curday=weekdaysD[td.text.split(u',')[0]]
KeyError: u'\xd0\xb2\xd1\x82\xd0\xbe\xd1\x80\xd0\xbd\xd0\xb8\xd0\xba'
那里的非 unicode 字符怎么样？为什么本地一切正常？ 我已经尝试了在我的代码中放置的所有解码\编码变体 - 没有任何帮助。 我现在被困了几天。
UPD：，如果我在 GAE 上添加到我的脚本：
print type(weekdaysD.keys()[0]), type(td.text.split(u',')[0])
它以“unicode”的形式返回。所以，我相信 html 被正确解码。会不会是 GAE 上的 lxml ？
【问题讨论】：
-
看起来您以某种方式将页面获取为 UTF-8 而不是 CP1251。它可能正在嗅探用户代理，尽管我从未见过网站这样做来确定它使用的编码。
-
不，使用 .decode('utf-8') 代替：UnicodeDecodeError: 'utf8' codec can't decode byte 0xc1 in position 286: invalid start byte
-
好吧，如果你得到一个错误的字符串并执行
s.encode('latin1').decode('utf-8')，你会得到一个正确的字符串。所以有些东西编码错误 - 它可能是 lxml。 -
您的文件是否以 PEP 263 源编码标记开头？我猜您的本地安装假定使用 cp1251 编码，而 App Engine 假定使用 ASCII。
-
源代码本身是 UTF-8 格式，我有：# -- coding: UTF-8 -- set。 AS of s.encode('latin1').decode('utf-8') - 这可能是一种解决方法 - 至少我在那个地方不再遇到同样的错误。但我还有一些 - 会检查我能做什么。
标签： python google-app-engine unicode cp1251