sys.argv 在 Python 3k 中作为字节

Question

由于 Python 3k 引入了字符串和字节之间的严格区分，数组 sys.argv 中的命令行参数以字符串形式呈现。有时有必要将参数视为字节，例如当传递不需要在 Unix 中采用任何特定字符编码的路径时。

让我们看一个例子。一个简短的 Python 3k 程序argv.py 如下：

import sys

print(sys.argv[1])
print(b'bytes')

当它以python3.1 argv.py français 执行时，它会产生预期的输出：

法语

b'字节'

请注意，参数 français 在我的语言环境编码中。但是，当我们以不同的编码传递参数时，我们会得到一个错误：python3.1 argv.py `echo français|iconv -t latin1`

Traceback (most recent call last):
  File "argv.py", line 3, in <module>
    print(sys.argv[1])
  UnicodeEncodeError: 'utf-8' codec can't encode character '\udce7' in position 4: surrogates not allowed

我们如何通过命令行参数将二进制数据传递给 Python 3k 程序？一个使用示例是将路径传递给使用其他语言环境的用户的文件。

Answer 1

请注意，错误是 UnicodeEncodeError 而不是 UnicodeDecodeError。 Python 保留了在命令行上传递的确切字节（通过 PEP 383 surrogateescape 错误处理程序），但这些字节不是有效的 UTF-8，因此不能被编码为写入控制台。

解决这个问题的最佳方法是使用正确编码的应用程序级知识来重新解释应用程序内的命令行参数，如以下示例代码所示：

$ python3.2 -c "import os, sys; print(os.fsencode(sys.argv[1]).decode('latin-1'))" `echo français|iconv -t latin1`
français

os.fsencode 函数调用反转 Python 在处理命令行参数时自动应用的转换。然后decode('latin-1') 方法调用执行正确的转换以获得正确解码的字符串。

Python 3.2 专门添加了os.fsencode 以使此类问题更易于处理。

对于 Python 3.1，os.fsencode(sys.argv[1]) 的等效构造是 sys.argv[1].encode(sys.getfilesystemencoding(), 'surrogateescape')

2013 年 2 月编辑：针对 Python 3.2+ 进行了更新，并避免假设 Python 自动检测到“UTF-8”作为命令行编码

Answer 2

你可以这样做：

sys.argv[1].encode() 或者，如果您知道编码，请将其用作参数或调用 bytes(sys.argv[1], 'latin-1')。

两者都应该为您提供 unicode 字符串的字节表示。

默认情况下，Python3 使用 UTF-8。