Python：将 Unicode 转换为 ASCII 而不会为 CSV 文件出错

Question

我一直在 StackOverflow 中阅读有关在 Python 中从 Unicode 转换为 CSV 的所有问题，但我仍然迷路了。每次我收到“UnicodeEncodeError: 'ascii' codec can't encode character u'\xd1' in position 12: ordinal not in range(128)”

buffer=cStringIO.StringIO()
writer=csv.writer(buffer, csv.excel)
cr.execute(query, query_param)
while (1):
    row = cr.fetchone()
    writer.writerow([s.encode('ascii','ignore') for s in row])

row的值为

(56, u"LIMPIADOR BA\xd1O 1'5 L")

其中数据库中 \xd10 的值为 ñ，一个带有变音符号的 n，用于西班牙语。起初我尝试将值转换为在 ascii 中有效的值，但在浪费了这么多时间之后，我试图只忽略这些字符（我想重音元音也会有同样的问题）。

我想将值保存到 CSV，最好使用 ñ（“LIMPIADOR BAÑO 1'5 L”），但如果不可能，至少能够保存它（“LIMPIADOR BAO 1'5 L”） ")。

Answer 1

正确，ñ 不是有效的 ASCII 字符，因此您不能将其编码为 ASCII。因此，您可以像上面的代码一样忽略它们。另一种方法，即删除重音，您可以在此处找到： What is the best way to remove accents in a Python unicode string?

但请注意，这两种技术都可能导致不良效果，例如使单词实际上具有不同的含义等。因此，最好保留重音。然后你不能使用 ASCII，但你可以使用另一种编码。 UTF-8 是安全的选择。 Latin-1 或 ISO-88591-1 是常见的一种，但它只包括西欧字符。 CP-1252 常见于 Windows 等。

因此，只需将“ascii”切换为您想要的任何编码。

---

根据您的评论，您的实际代码是：

writer.writerow([s.encode('utf8') if type(s) is unicode else s for s in row]) 

在哪里

row = (56, u"LIMPIADOR BA\xd1O 1'5 L")

现在，我相信这应该可行，但显然不行。我认为 unicode 无论如何都会错误地传递给 cvs 编写器。将那条长线展开到它的各个部分：

col1, col2 = row # Use the names of what is actually there instead
row = col1, col2.encode('utf8')
writer.writerow(row) 

现在你的真正错误不会因为你把所有东西都放在同一行中而隐藏起来。如果您包含适当的回溯，这也可能可以避免。