解码文件名问题

Question

为了简化我的问题，我创建了一个工作演示，它应该根据处理文件名的 python unicode 文档工作。输出如下：

$ ./test_unicode.py /tmp/gsynctest/Greg.*
p = '/tmp/gsynctest/Greg. Descripci\xf3n v\xeddeos'
up = u'/tmp/gsynctest/Greg. Descripci\xf3n v\xeddeos'
up.utf8 = /tmp/gsynctest/Greg. Descripción vídeos
Command line file exists = True
Unicode file exists = False
UTF-8 file exists = False

如您所见，按照出现的顺序，p 是通过 argv 和 glob 提供的文件名。尽管我的终端具有 LANG="en_GB.UTF-8"，但它具有“latin-1”编码。如果我使用严格的 unicode 错误集对其进行解码，我会得到up 显示的字符串。如果我将其编码为 utf8，我会得到代表真实文件名的内容。

但是，根据 unicode 文档，应使用 sys.getfilesystemencoding() 对 unicode 文件名进行编码以便访问它。但这不起作用。三个 exists 检查显示哪一个有效，它似乎是 latin-1 (ISO-8859-1) 编码。

我不知道为什么我看到的内容不反映文档。

这里是测试程序代码：

#!/usr/bin/env python

import sys, os

paths = sys.argv[1:]

fsenc = sys.getfilesystemencoding()

for p in paths:
    print "p = %s" % repr(p)

    if not isinstance(p, unicode):
        up = unicode(p, encoding = "latin-1", errors = "strict")

    print "up = %s" % repr(up)
    print "up.utf8 = %s" % up.encode("utf8")

    print "Command line file exists = %s" % os.path.exists(p)
    print "Unicode file exists = %s" % os.path.exists(up)
    print "%s file exists = %s" % (fsenc, os.path.exists(up.encode(fsenc)))

。 . .

原问题：

如果我尝试以原始形式解码以下文件名表示，我会收到“无效的连续字节”错误：Greg. Descripci\xf3n v\xeddeos\n

for p in paths:
    p = p.decode(sys.getfilesystemencoding())

这是提交此错误的用户提交的真实文件名。我对 unicode / UTF-8 编码的理解不是很好，但据我所知，它不是合法的 UTF-8，因为它需要某种终结符。我并不关心打印时文件名的外观，它只需要在磁盘上可以访问。处理这样的文件的常规方法是什么？我的大部分问题都源于尝试打印文件：

debug(u"Filename: %s" % unicode(path))

更新：尝试、更努力、更努力仍然有什么好处吗？

for e in (sys.getfilesystemencoding(), "UTF-8", "Latin-1"):
    try:
        p_dec = p.decode("Latin-1")
        p = p_dec.encode(sys.getfilesystemencoding())
    except UnicodeDecodeError:
        pass

对于文件系统编码相同的编码，显然不是最佳选择，因为它将以相同的编码进行解码和编码。但至少我可以保证在后续调用中解码文件名不会出现异常。我看到的唯一问题是，不正确的编码可能会正确解码文件名，从而产生完全错误的编码文件名。

无论哪种方式，我都需要跟踪两个文件名吗？磁盘上可访问的原始文件名和可打印文件名？还是文件系统编码的文件名既可打印又可访问？

更新 2：我的问题的答案是“否”。我实现了自己的编解码器来循环编码类型并在文件系统编码中重新编码。该表示现在可打印：Greg. Descripción vídeos，但该文件不再可访问。所以我认为保持文件系统访问和可打印性的最简单方法是将文件名包装在一个具有打印和 IO 实现的类中；除非有人有任何其他建议？

Answer 1

字符串 Greg. Descripci\xf3n v\xeddeos\n 以 latin-1 或其他一些非 Unicode 和非 UTF-8 编码进行编码，因此您需要这样做：

"Greg. Descripci\xf3n v\xeddeos\n".decode('latin-1').encode(sys.getfilesystemencoding())

这会产生：

'Greg. Descripci\xc3\xb3n v\xc3\xaddeos\n'

问题是您自己的文件系统编码可能与用于通过网络提交文件或文件名的编码不匹配。您可能需要检查传入的编码以查看实际编码是什么。它可能是也可能不是 latin-1：我只使用了 latin-1，因为它是最通用的 8 位编码。

（取决于你在做什么，你可能实际上不需要重新编码。）

Answer 2

首先，只写unicode(path) 几乎总是一个坏主意。如果需要将字符串转换为 Unicode，则需要知道它的字符集是什么。

假设p 表示来自文件系统的路径（例如，你从os.listdir 得到它），那么你想用文件系统的编码来解码它，而不仅仅是Python 认为是一个不错的默认值。* 所以，正确的做法是您在上面已经做过的事情：

p = p.decode(sys.getfilesystemencoding())

如果path 代表其他东西（例如，您从用户输入中得到它），那就另当别论了。

或者，如果path 是您在上面计算的那些p 值之一，那么它已经 unicode，因此尝试再次对其进行解码将重新编码为你的默认编码，然后重新解码，这是一件愚蠢的事情。

但如果不知道字符串的来源，您（和我们）无法知道它在什么字符集中，因此您无法知道如何对其进行解码。

---

* 在某些系统上，你会很幸运。例如，对于 Mac 上的 Python 3.x，默认编码和文件系统编码都将始终为 UTF-8。但是在较旧的 linux 机器上使用 Python 2.x，默认编码可能是 UTF-8，而文件系统是 Latin-1……这似乎正是您在这里得到的。