写入文件时错误的 utf-8 字符（python）

Question

我遇到的编码问题似乎与这里的其他问题非常相似，但并不完全相同，我无法弄清楚这一切。

我以为我已经掌握了编码的概念，但是我有这些特殊字符（æ、ø、å、ö 等）在打印时看起来不错，但无法写入文件。 （例如，当我写入文件时，æ 变为 Ê）

我的代码如下：

def sortWords(subject, articles, stopWordsFile):
    stopWords = [] 
    f = open(stopWordsFile)
    for lines in f:
        stopWords.append(lines.split(None, 1)[0].lower())

    for x in range(0,len(articles)):
        f = open(articles[x], 'r')
        article = f.read().lower()
        article = re.sub("[^a-zA-Z\æøåÆØÅöÖüÜ\ ]+", " ", article)
        article = [word for word in article.split() if word not in stopWords]
        print ' '.join(article)
        w = codecs.open(subject+str(x)+'.txt', 'w+')
        w.write(' '.join(article))



sortWords("hpv", ["vaccine_texts/hpv1.txt"], "stopwords.txt")

我尝试了各种编码，使用 codecs.open(file, r, 'utf-8') 打开文件，但无济于事。我在这里错过了什么？

我在 ubuntu 上（从 Windows 切换，因为它的终端无法正确输出）

Answer 1

当您在文本文件中看到类似 Ê（或更一般的 2 个字符，其中第一个是 Ã）时，很可能该文件以 UTF8 正确写入，并且编辑器（或屏幕）没有处理正确的 UTF8。

让我们看看æ。它是 unicode 字符 U+E6。当您将其编码为 utf8 时，它会给出两个字符 b'\xc3\xa6'，当解码为 latin1 时，它会打印 f 'æ'。

你能做些什么来确认？使用出色的 vim 编辑器，它知道多种编码和其他 utf8，至少在您使用其图形界面 gvim 时是这样。

还有一个一般性建议：永远不要在 python 源文件中写入非 ascii 字符，除非您将 # -*- coding: ... -*- 行作为第一行（或者第二行，如果第一行是 hashbang 则 #! /usr/bin/env python )

如果你想在 Windows 下通过 Python 使用 unicode，请使用本机处理它的 IDLE。

TL/DR：如果您使用的是 Linux，很可能您的系统本身配置为使用 utf8 编码，并且您在 utf8 中正确编写了文本文件，但您的文本编辑器无法正确显示 utf8

Answer 2

你试过了吗：

w.write( ' '.join(article).encode('utf8') )

别忘了关闭你的文件（最好使用with 上下文管理器来操作文件）