我如何告诉 Python sys.argv 是 Unicode 格式的？

Question

这是一个小程序：

import sys

f = sys.argv[1]
print type(f)
print u"f=%s" % (f)

这是我运行的程序：

$ python x.py 'Recent/רשימת משתתפים.LNK'
<type 'str'>
Traceback (most recent call last):
  File "x.py", line 5, in <module>
    print u"f=%s" % (f)
UnicodeDecodeError: 'ascii' codec can't decode byte 0xd7 in position 7: ordinal not in range(128)
$ 

问题在于 sys.argv[1] 认为它正在获取一个无法转换为 Unicode 的 ascii 字符串。但是我使用的是带有完整 Unicode 感知终端的 Mac，所以 x.py 实际上得到了一个 Unicode 字符串。我如何告诉 Python sys.argv[] 是 Unicode 而不是 Ascii？如果做不到这一点，如何将 ASCII（其中包含 unicode）转换为 Unicode？明显的转换不起作用。

Answer 1

您看到的UnicodeDecodeError 错误是由于您混合了Unicode 字符串u"f=%s" 和sys.argv[1] 字节串：

• 两个字节串：

    $ python2 -c'import sys; print "f=%s" % (sys.argv[1],)' 'Recent/רשימת משתתפים'
  

  这会透明地从/向您的终端传递字节。它适用于任何编码。

• 都是 Unicode：

    $ python2 -c'import sys; print u"f=%s" % (sys.argv[1].decode("utf-8"),)' 'Rec..
  

  这里你应该用你的终端使用的编码替换'utf-8'。如果终端不支持 Unicode，您可以在此处使用 sys.getfilesystemencoding()。

两个命令产生相同的输出：

f=Recent/רשימת משתתפים

一般来说，您应该尽快将您认为是文本的字节串转换为 Unicode。

Answer 2

sys.argv = map(lambda arg: arg.decode(sys.stdout.encoding), sys.argv)

或者你可以从locale.getdefaultlocale()[1]中选择编码

Answer 3

使用用于启动 Python 的 shell 上的编码将命令行参数作为字节字符串传递给 Python。因此，除了将参数 yourself 转换为应用程序中的 unicode 之外，没有办法将命令行参数作为 unicode 字符串传递给 Python。

Answer 4

试试：

f = sys.argv[1].decode('utf-8')

或：

f = unicode(sys.argv[1], 'utf-8')

Answer 5

1. sys.argv 永远不是“Unicode”；它肯定是编码的，但 Unicode 不是一种编码，而是一组代码点（数字），其中每个数字唯一地代表一个字符。 http://www.unicode.org/standard/WhatIsUnicode.html

2. 进入 Terminal.app > Terminal > Preferences > Settings > Character encoding，然后从下拉列表中选择 UTF-8。

3. 此外，Mac OS X 附带的默认 Python 在 Unicode 方面存在一个缺陷：它默认使用已弃用的 UCS-2 构建；见：http://webamused.wordpress.com/2011/01/31/building-64-bit-python-python-org-using-ucs-4-on-mac-os-x-10-6-6-snow-leopard/