了解 Python Unicode 和 Linux 终端答案

【问题标题】：Understanding Python Unicode and Linux terminal了解 Python Unicode 和 Linux 终端
【发布时间】：2013-07-17 12:33:06
【问题描述】：

我有一个 Python 脚本，它使用 UTF-8 编码编写一些字符串。在我的脚本中，我主要使用str() 函数来转换为字符串。看起来是这样的：

mystring="this is unicode string:"+japanesevalues[1] 
#japanesevalues is a list of unicode values, I am sure it is unicode
print mystring

我不使用 Python 终端，只使用标准的 Linux Red Hat x86_64 终端。我将终端设置为输出 utf8 字符。

如果我执行这个：

#python myscript.py
this is unicode string: カラダーズ ソフィー

但如果我这样做：

#python myscript.py > output

我得到了典型的错误：

UnicodeEncodeError: 'ascii' codec can't encode characters in position 253-254: ordinal not in range(128)

为什么会这样？

【问题讨论】：

在你的问题中，你说“一些使用 UTF-8 编码的字符串”你怎么能确定这些字符串是用 UTF-8 编码的，你做了什么？
@venus.w 很抱歉，我帮不了你太多。我正在从以 UTF-8 编码的 DB 和 CSV 中读取字符串，但我只是假设编码确实是 UTF-8（因为如果我打印出来我可以正确读取日文字符），但它们可能是实际上编码在其他一些也允许日文字符的字符集中。我相信有python函数可以告诉你字符串的编码，甚至可以改变它。

标签： python linux unicode cjk

【解决方案1】：

终端有一个字符集，Python 知道该字符集是什么，因此它会自动将您的 Unicode 字符串解码为终端使用的字节编码，在您的情况下为 UTF-8。

但是当您重定向时，您不再使用终端。您现在只是使用 Unix 管道。该 Unix 管道没有字符集，Python 无法知道您现在想要哪种编码，因此它将回退到默认字符集。您已用“Python-3.x”标记您的问题，但您的 print 语法是 Python 2，所以我怀疑您实际上使用的是 Python 2。然后您的 sys.getdefaultencoding() 通常是 'ascii'，在您的情况下是绝对如此。当然，您不能将日文字符编码为 ASCII，所以会出现错误。

使用 Python 2 时最好的选择是在打印字符串之前使用 UTF-8 对其进行编码。然后重定向将起作用，生成的文件为 UTF-8。这意味着如果您的终端是其他东西，它将无法工作，但是您可以从 sys.stdout.encoding 获取终端编码并使用它（在 Python 2 下重定向时它将是 None）。

在 Python 3 中，您的代码应该按原样运行，只是您需要将 print mystring 更改为 print(mystring)。

【讨论】：

是的，它是 python 2，我只是检查了一下，抱歉。你是对的，如果我这样做： print mystring.encode('utf-8') 那么我重定向没有问题。感谢您的准确解释。
在使用带有PYTHONIOENCODING environment variable 的管道时，您也可以强制Python 使用不同的编码。
您说“在打印之前用 utf-8 解码字符串”，但它应该是“在打印之前将 unicode 编码为 utf8 编码的 str”（mystring.encode('utf-8') )。
Python 有办法知道 Linux 上的编码，例如 locale.getpreferredencoding(True)
Lennart 的回答让我走上了为我找到最佳解决方案的正确轨道：import sys sys.stdout.write(mystring.encode('utf-8')) 而不是 print。它适用于这两种情况，我在这里找到了它：stackoverflow.com/a/492711/838494

【解决方案2】：

如果它输出到终端，那么 Python 可以检查 $LANG 的值来选择一个字符集。如果您重定向，所有赌注都将取消。

【讨论】：