删除目录中所有非 utf-8 符号的文件

Question

我有一组数据，但我只需要使用utf-8 数据，所以我需要删除所有非utf-8 符号的数据。

当我尝试使用这些文件时，我收到：

UnicodeDecodeError: 'charmap' codec can't decode byte 0x8d in position 3062: character maps to <undefined> and UnicodeDecodeError: 'utf8' codec can't decode byte 0xc1 in position 1576: invalid start byte 

我的代码

class Corpus:
        def __init__(self,path_to_dir=None):
                self.path_to_dir = path_to_dir if path_to_dir else []


        def emails_as_string(self):
                for file_name in os.listdir(self.path_to_dir):
                        if not file_name.startswith("!"):
                                with io.open(self.add_slash(self.path_to_dir)+file_name,'r', encoding ='utf-8') as body:
                                        yield[file_name,body.read()]                        

        def add_slash(self, path):
                if path.endswith("/"): return path
                return path + "/"

我在yield[file_name,body.read()] 和这里list_of_emails = mailsrch.findall(text) 收到错误，但是当我使用 utf-8 时一切都很好。

Answer 1

我怀疑你想在bytes.decode 上使用errors='ignore' 参数。请参阅 http://docs.python.org/3/howto/unicode.html#unicode-howto 和 http://docs.python.org/3/library/stdtypes.html#bytes.decode 了解更多信息。

编辑：

这里有一个例子展示了一个很好的方法：

for file_name in os.listdir(self.path_to_dir):
    if not file_name.startswith("!"):
        fullpath = os.path.join(self.path_to_dir, file_name)
        with open(fullpath, 'r', encoding ='utf-8', errors='ignore') as body:
            yield [file_name, body.read()]  

使用os.path.join，您可以消除您的add_slash 方法，并确保它可以跨平台工作。