Python unicode 问题

Question

我正在从 ZODB（Zope 对象数据库）接收一些数据。我收到一个mybrains 对象。然后我做：

o = mybrains.getObject()

我在我的项目中收到一个“Person”对象。那我就可以了

b = o.name

我在课堂上做print b：

José Carlos

和print b.name.__class__

<type 'unicode'>

我有很多“Person”对象。它们被添加到列表中。

names = [o.nome, o1.nome, o2.nome]

然后，我尝试用这些数据创建一个文本文件。

delimiter = ';'
all = delimiter.join(names) + '\n'

没问题。现在，当我执行print all 时，我有：

José Carlos;Jonas;Natália
Juan;John

但是当我尝试创建它的文件时：

f = open("/tmp/test.txt", "w")
f.write(all)

我收到这样的错误（位置不完全相同，因为我更改了名称）

UnicodeEncodeError: 'ascii' codec can't encode character u'\xe9' in position 84: ordinal not in range(128)

如果我已经可以用“正确”的形式打印来显示它，为什么我不能用它写一个文件？我应该使用哪种编码/解码方法来编写包含这些数据的文件？

我使用的是 Python 2.4.5（无法升级）

Answer 1

UnicodeEncodeError: 'ascii' 编解码器

write 正在尝试使用 ascii 编解码器对字符串进行编码（它无法对 é 或 à 等重音字符进行编码。

改为使用

import codecs
with codecs.open("/tmp/test.txt",'w',encoding='utf-8') as f:   
    f.write(all.decode('utf-8'))

或选择其他可以对字符串中的字符进行编码的编解码器（如 cp1252）。

PS。上面使用了all.decode('utf-8')，因为f.write 需要一个unicode 字符串。 Better than using all.decode('utf-8') 将尽早将所有字符串转换为 unicode，在 unicode 中工作，并在后期编码为特定编码，如 'utf-8' -- 仅当你必须这样做时。

PPS。看起来 names 可能已经是一个 unicode 字符串列表。在这种情况下，也将 delimiter 定义为 unicode 字符串：delimiter = u';'，因此 all 将是 unicode 字符串。那么

with codecs.open("/tmp/test.txt",'w',encoding='utf-8') as f:   
    f.write(all)

应该可以工作（除非 Python 2.4 存在一些我不知道的问题。）

如果 'utf-8' 不起作用，请记住尝试其他包含您需要且您的计算机知道的字符的编码。在 Windows 上，这可能意味着“cp1252”。

Answer 2

您告诉 Python 打印 all，但由于 all 没有固定的计算机表示，Python 首先必须将 all 转换为某种可打印的形式。由于您没有告诉 Python 如何进行转换，它假定您需要 ASCII。不幸的是，ASCII 只能处理 0 到 127 之间的值，而all 包含超出该范围的值，因此您会看到错误。

解决这个问题：

all = "José Carlos;Jonas;Natália Juan;John"
import codecs
f = codecs.open("/tmp/test.txt", "w", "utf-8")
f.write(all.decode("utf-8"))
f.close()