有效地替换坏字符

Question

我经常使用包含以下字符的 utf-8 文本：

\xc2\x99

\xc2\x95

\xc2\x85

等

这些字符混淆了我使用的其他库，因此需要替换。

什么是执行此操作的有效方法，而不是：

text.replace('\xc2\x99', ' ').replace('\xc2\x85, '...')

Answer 1

总是有正则表达式；只需在方括号内列出所有有问题的字符，如下所示：

import re
print re.sub(r'[\xc2\x99]'," ","Hello\xc2There\x99")

这会打印：'Hello There'，用空格替换不需要的字符。

或者，如果您有不同的替换字符：

# remove annoying characters
chars = {
    '\xc2\x82' : ',',        # High code comma
    '\xc2\x84' : ',,',       # High code double comma
    '\xc2\x85' : '...',      # Tripple dot
    '\xc2\x88' : '^',        # High carat
    '\xc2\x91' : '\x27',     # Forward single quote
    '\xc2\x92' : '\x27',     # Reverse single quote
    '\xc2\x93' : '\x22',     # Forward double quote
    '\xc2\x94' : '\x22',     # Reverse double quote
    '\xc2\x95' : ' ',
    '\xc2\x96' : '-',        # High hyphen
    '\xc2\x97' : '--',       # Double hyphen
    '\xc2\x99' : ' ',
    '\xc2\xa0' : ' ',
    '\xc2\xa6' : '|',        # Split vertical bar
    '\xc2\xab' : '<<',       # Double less than
    '\xc2\xbb' : '>>',       # Double greater than
    '\xc2\xbc' : '1/4',      # one quarter
    '\xc2\xbd' : '1/2',      # one half
    '\xc2\xbe' : '3/4',      # three quarters
    '\xca\xbf' : '\x27',     # c-single quote
    '\xcc\xa8' : '',         # modifier - under curve
    '\xcc\xb1' : ''          # modifier - under line
}
def replace_chars(match):
    char = match.group(0)
    return chars[char]
return re.sub('(' + '|'.join(chars.keys()) + ')', replace_chars, text)

Answer 2

如果要从字符串中删除所有非 ASCII 字符，可以使用

text.encode("ascii", "ignore")

Answer 3

这不是“Unicode 字符”——感觉更像是一个 UTF-8 编码的字符串。 （尽管您的前缀应该是 \xC3，而不是大多数字符的 \xC2）。您不应该在 95% 的情况下将它们丢弃，除非您正在与 COBOL 后端通信。你知道，世界不限于 26 个字符。

有一个简明的读物来解释 Unicode 字符串之间的区别（这里在 python 2 中用作 Unicode 对象和在 Python 3 中用作字符串：http://www.joelonsoftware.com/articles/Unicode.html - 为了您的缘故，请务必阅读。即使您永远不会计划在所有应用程序中使用非英语的任何内容，您仍然会偶然发现 € 或 º 等不适合 7 位 ASCII 的符号。那篇文章将对您有所帮助。

也就是说，也许您使用的库确实接受 Unicode python 对象，您可以通过以下操作将 UTF-8 Python 2 字符串转换为 unidoce：

var_unicode = var.decode("utf-8")

如果您真的需要 100% 纯 ASCII，替换所有非 ASCII 字符， 将字符串解码为 un​​icode，将其重新编码为 ASCII，告诉它忽略不适合的字符字符集：

var_ascii = var_unicode.encode("ascii", "replace")

Answer 4

我认为这里有一个潜在的问题，调查并解决它可能是个好主意，而不是仅仅试图掩盖症状。

\xc2\x95是字符U+0095的UTF-8编码，即C1 control character（MESSAGE WAITING）。您的图书馆无法处理它并不奇怪。但问题是，它是如何进入您的数据的？

嗯，一个很可能的可能性是它以 Windows-1252 编码中的字符 0x95 (BULLET) 开始，被错误地解码为 U+0095 而不是正确的 U+2022，然后编码为 UTF-8 . （日语术语mojibake描述了这种错误。）

如果这是正确的，那么您可以通过将原始字符放回 Windows-1252，然后这次将它们正确解码为 Unicode 来恢复原始字符。 （在这些示例中，我使用的是 Python 3.3；这些操作在 Python 2 中有些不同。）

>>> b'\x95'.decode('windows-1252')
'\u2022'
>>> import unicodedata
>>> unicodedata.name(_)
'BULLET'

如果您想对 0x80–0x99 范围内的所有有效 Windows-1252 字符进行此更正，您可以使用以下方法：

def restore_windows_1252_characters(s):
    """Replace C1 control characters in the Unicode string s by the
    characters at the corresponding code points in Windows-1252,
    where possible.

    """
    import re
    def to_windows_1252(match):
        try:
            return bytes([ord(match.group(0))]).decode('windows-1252')
        except UnicodeDecodeError:
            # No character at the corresponding code point: remove it.
            return ''
    return re.sub(r'[\u0080-\u0099]', to_windows_1252, s)

例如：

>>> restore_windows_1252_characters('\x95\x99\x85')
'•™…'

Answer 5

这些字符不在ASCII 库中，这就是您收到错误的原因。 为避免这些错误，您可以在读取文件时执行以下操作。

import codecs   
f = codecs.open('file.txt', 'r',encoding='utf-8')

要了解有关此类错误的更多信息，请转至this link。

Answer 6

import unicodedata

# Convert to unicode
text_to_uncicode = unicode(text, "utf-8")           

# Convert back to ascii
text_fixed = unicodedata.normalize('NFKD',text_to_unicode).encode('ascii','ignore')