Python argparse unicode 参数问题

Question

我正在使用 python 的 argparse 模块来处理命令行参数。我在解码实际的 unicode 文件名/文件路径时遇到问题。这是我的代码：

if __name__ == "__main__":
    parser = argparse.ArgumentParser()
    parser.add_argument("-f", dest="file", default="", help="file to be processed")
    options = parser.parse_args()
    main(options)

def main(options):
    detail = options.file.decode(sys.stderr.encoding)
    print os.path.exists(detail)
    print detail

现在，当我通过 Windows 命令行运行脚本时：

sample.py -f "c:\temp\2-¡¢£¤¥¦§¨©ª«¬®¯°±²³´μ¶·¸¹º»¼½¾¿ÀÁÂÃÄÅÆÇÈÉÊËÌÍÎÏÐÑÒÓÔÕÖ×ØÙÚÛÜÝÞßàáâãäåæçèéêëìíîïðñòóôõö÷øùúûüýþÿ"

结果如下：

c:\temp\2-íóúñѪº¿⌐¬½¼?«»░▒▓│┤╡╢╖╕╣║╗╝╜╛┐└┴┬├─┼╞╟╚╔╩╦╠═╬╧╨╤╥╙╘╒╓╫╪┘┌█▄▌▐▀αßΓπΣσµτΦΘΩδ∞φε∩≡±≥≤⌠⌡÷≈°∙·√ⁿ²■ 
False

如您所见，解码后的文件名不同，导致文件存在检查为“False”。

有解决这个问题的想法吗？提前致谢！

Answer 1

了解发生了什么：Python 2 有几个与命令行、编码和 Windows 相关的错误（例如：subprocess.call fails with unicode strings in command line）

此类问题的黄金法则：使用 repr() 并将所有内容打印为 ASCII 字符串（使用 Unicode 转义）。否则，打印时数据可能会被破坏，从而增加混乱。

我建议从一个更简单的文件名 (C:\temp\ä.txt) 开始，它应该是 C:\\temp\\\u00e4.txt。

所以第一步是找出输入是什么：

print type(options.file)

如果这不是 Unicode，那么您永远不会得到正确编码的文件名。要解决此问题，您需要使用 Windows 用来向您传递文件名的编码。试试sys.stdin.encoding 和'mbcs'（= Windows 文件系统编码）。

使用repr() 打印字符串，直到它看起来正确为止。

PEP 277 解释了 Python 如何在 Windows 上处理 Unicode 文件名。

简而言之，您必须确保将 Unicode 字符串 (type() == unicode) 而不是字节字符串 (type() == str) 传递给 open()。

相关：

• Python, Unicode, and the Windows console

Answer 2

开始更新

考虑到下面hpaul的反馈，以及他指出的bug链接， 我能够通过使用此函数将 sys.argv[1:] 参数转换为 unicode 来解决问题：

def win32_unicode_argv():
    from ctypes import POINTER, byref, cdll, c_int, windll
    from ctypes.wintypes import LPCWSTR, LPWSTR
    GetCommandLineW = cdll.kernel32.GetCommandLineW
    GetCommandLineW.argtypes = []
    GetCommandLineW.restype = LPCWSTR
    CommandLineToArgvW = windll.shell32.CommandLineToArgvW
    CommandLineToArgvW.argtypes = [LPCWSTR, POINTER(c_int)]
    CommandLineToArgvW.restype = POINTER(LPWSTR)
    cmd = GetCommandLineW()
    argc = c_int(0)
    argv = CommandLineToArgvW(cmd, byref(argc))
    if argc.value > 0:
        # Remove Python executable and commands if present
        start = argc.value - len(sys.argv)
        return [argv[i] for i in
                xrange(start, argc.value)]

if __name__ == "__main__":
    sys.argv = win32_unicode_argv()

显然，这仅适用于 Windows，但我认为这对于在 Linux 下运行的脚本来说不是必需的。

更新结束

按照 Aaron 的建议，我尝试确保将其编码为 un​​icode，因此我这样做了：

parser.add_argument("-f", dest="file", type=lambda s : unicode(s, sys.getfilesystemencoding()), default="", help="file to be processed")

当我打印类型时，它会显示 unicode：

print type(options.file)
<type 'unicode'>

但是，当我再次进行存在性检查时，结果仍然是 False。我尝试了以下方法：

print os.path.exists(repr(options.file))

结果为假

print os.path.exists(repr(options.file.decode("utf8")))

结果：

UnicodeEncodeError: 'ascii' codec can't encode characters in position 25-36: ordinal not in range(128)