解码和编码后去除异常字符

Question

所以我一直在研究这个问题，到目前为止，我正在使用一个字符串并执行以下操作：

title = title.decode('windows-1252')
title = title.encode('utf-8','replace')

我的字符串如下，虽然可以有其他字符没有去掉。

Bus • Lorry • IT & Construction

标点已删除：

title = title.translate(string.punctuation)

这似乎变成了（删除标点符号后）：

Bus • Lorry • IT Construction

虽然现在我遇到了一个问题，我将字符串拆分并尝试将其重新连接在一起。我将其拆分为：

['Bus', '\xc3\xa2\xe2\x82\xac\xc2\xa2', 'Lorry', '\xc3\xa2\xe2\x82\xac\xc2\xa2', 'IT', 'Construction']

作者： words = text.split(' ')

一旦我每个单词都删除了一些词干，就尝试重新加入：

text = ' '.join([stemmer.stem(word) for word in words])

然后，此时我遇到了一个问题：

'ascii' 编解码器无法解码位置 0 中的字节 0xc3：序数不在范围内（128）

但是我很困惑，因为阅读网站，我需要编码和解码，我认为我已经正确完成了......

Answer 1

您需要在输入数据后进行解码，将其用作 unicode，并将其编码仅用于输出。当某些东西试图在不知道原始编码的情况下将编码字符串转换为 unicode 对象时，会引发 UnicodeDecodeError。

在您的情况下，我会尝试将词干分析器 before 编码为 UTF-8 并运行。这仅在输出或（可能）存储时需要。