在 Python 中从 gzip'ed CSV 中删除 BOM答案

【问题标题】：Removing BOM from gzip'ed CSV in Python在 Python 中从 gzip'ed CSV 中删除 BOM
【发布时间】：2014-01-20 21:41:37
【问题描述】：

我正在使用以下代码解压缩并保存一个 CSV 文件：

with gzip.open(filename_gz) as f:
    file = open(filename, "w");
    output = csv.writer(file, delimiter = ',')
    output.writerows(csv.reader(f, dialect='excel', delimiter = ';'))

似乎一切正常，除了文件中的第一个字符出乎意料之外。谷歌搜索似乎表明这是由于文件中的 BOM 造成的。

我已经读过用 utf-8-sig 对内容进行编码应该可以解决这个问题。但是，添加：

.read().encoding('utf-8-sig')

到 csv.reader 中的 f 失败：

File "ckan_gz_datastore.py", line 16, in <module>
    output.writerows(csv.reader(f.read().encode('utf-8-sig'), dialect='excel', delimiter = ';'))
File "/usr/lib/python2.7/encodings/utf_8_sig.py", line 15, in encode
    return (codecs.BOM_UTF8 + codecs.utf_8_encode(input, errors)[0], len(input))
UnicodeDecodeError: 'ascii' codec can't decode byte 0xef in position 0: ordinal not in range(128)

如何删除 BOM 并将内容保存为正确的 utf-8？

【问题讨论】：

另见stackoverflow.com/questions/8898294/…

标签： python csv byte-order-mark

【解决方案1】：

首先，您需要对文件内容进行解码，而不是对其进行编码。

其次，csv 模块不喜欢 Python 2.7 中的 unicode 字符串，因此在对数据进行解码后，您需要将其转换回 utf-8。

最后，csv.reader 在文件的行上传递了一个迭代，而不是一个带有换行符的大字符串。

所以：

csv.reader(f.read().decode('utf-8-sig').encode('utf-8').splitlines())

但是，您可能认为手动删除 BOM 更简单/更有效：

def remove_bom(line):
    return line[3:] if line.startswith(codecs.BOM_UTF8) else line

csv.reader((remove_bom(line) for line in f), dialect = 'excel', delimiter = ';')

这略有不同，因为它会从任何以 1 开头的行中删除 BOM，而不仅仅是第一行。如果您不需要保留其他 BOM 就可以了，否则您可以使用以下方法修复它：

def remove_bom_from_first(iterable):
    f = iter(iterable)
    firstline = next(f, None)
    if firstline is not None:
        yield remove_bom(firstline)
        for line in f:
            yield f

【讨论】：