python：压缩 csv 缓冲区

Question

我想将一些 csv 缓冲区压缩到一个新的 zip 缓冲区中，如下所示（python 2.7）：

files = []

csv_buffer = StringIO.StringIO()
writer = csv.writer(csv_buffer)
writer.writerow(["some", "csv", "data"])

csv_buffer.seek(0)

files.append(csv_buffer)

zipped_file = io.BytesIO()

with zipfile.ZipFile(zipped_file, 'w') as zipper:
    for i, csv_file in enumerate(files):
        csv_file.seek(0)
        zipper.writestr("{}.csv".format(i), csv_file.read())

zipped_file.seek(0)

然后我通过 Django 视图调度生成的缓冲区以进行下载。但是，如果我打开 zip，我会找到一个文件 (0.csv)，但它的编码不正确。我想将其编码为 UTF-8。

我也尝试如下：

zipper.writestr("{}.csv".format(i), csv_file.read().encode("utf-8"))

但这并没有什么不同。也在变化

zipped_file = io.BytesIO()

到

zipped_file = StringIO.StringIO()

没有帮助。 任何关于出了什么问题的想法将不胜感激！

编辑：我的解决方案

尽管下面给出了其他有用且有趣的答案，但我通过更改解决了这个问题

    zipper.writestr("{}.csv".format(i), csv_file.read())

到

     zipper.writestr(zipfile.Zipinfo("foo.csv"), csv_file.read())

不知道为什么，但这让它起作用了

Answer 1

所以，您似乎没有正确编码您的 CSV。

查看csv module 文档 (Python 2.7) 中的此注释：

注意此版本的 csv 模块不支持 Unicode 输入。此外，目前还有一些关于 ASCII NUL 字符的问题。因此，为了安全起见，所有输入都应该是 UTF-8 或可打印的 ASCII；请参阅Examples 部分中的示例。

这是他们所指的例子：

class UnicodeWriter:
    """
    A CSV writer which will write rows to CSV file "f",
    which is encoded in the given encoding.
    """

    def __init__(self, f, dialect=csv.excel, encoding="utf-8", **kwds):
        # Redirect output to a queue
        self.queue = cStringIO.StringIO()
        self.writer = csv.writer(self.queue, dialect=dialect, **kwds)
        self.stream = f
        self.encoder = codecs.getincrementalencoder(encoding)()

    def writerow(self, row):
        self.writer.writerow([s.encode("utf-8") for s in row])
        # Fetch UTF-8 output from the queue ...
        data = self.queue.getvalue()
        data = data.decode("utf-8")
        # ... and reencode it into the target encoding
        data = self.encoder.encode(data)
        # write to the target stream
        self.stream.write(data)
        # empty queue
        self.queue.truncate(0)

    def writerows(self, rows):
        for row in rows:
            self.writerow(row)

只需使用UnicodeWriter 而不是csv.writer（直接替换）：

writer = UnicodeWriter(csv_buffer)

代替：

writer = csv.writer(csv_buffer)

或者，如果可以的话，切换到 Python 3，它对 Unicode 的处理能力比 Python 2 好得多。