GZIP 达到字节限制，无需复制

Question

我想使用 gzip 将记录打包到 io.ByteIO 列表中。我想为每个我不想超过的包设置一个 max_size。问题是在我这样做之前，我不知道我是否会用新记录超过这个大小。一旦它超过了大小，我就没有一个好的方法来撤消这个添加。

def pack_gz_records(records: List[any], max_size: int) -> List[io.BytesIO]:
    packets = []
    
    mem_file = io.BytesIO()
    gz = gzip.GzipFile(fileobj=mem_file, mode="w")

    for record in records:
        if gz.size >= max_size:
            # Size exceeded limit. Add this mem file to the package and cut a new mem file
            mem_file.seek(0)
            packets.append(mem_file)
            mem_file = io.BytesIO()
            gz = gzip.GzipFile(fileobj=mem_file, mode="w")
        
        gz.write(serialize(record))

    if gz.size:
        mem_file.seek(0)
        packets.append(mem_file)

    return packets

有没有办法撤消写入，或以有效的方式“窥视”写入，而无需在写入之前复制每条记录的所有字节？

Answer 1

是的。使用zlib 库（而不是gzip）。使用wbits=31 创建压缩对象以选择gzip 格式。 copy() 函数可以在添加下一条记录之前复制压缩对象。复制后，将下一条记录添加到原始对象并使用Z_BLOCK 刷新。如果结果加上 gzip 预告片的一些余量没有超出您的限制，则删除副本。如果确实超出了，则删除超出的对象，然后返回并完成（用Z_FINISH 刷新）对复制对象的压缩。

这假设您的记录至少有几个 K 大小，因此压缩不会受到刷新的显着影响。如果你的记录很小，你应该在刷新之前压缩几条记录。 （用每次刷新的记录数来测量压缩影响。）如果您想获得幻想，当您超过限制并备份时，您可以使用二进制搜索来确定要记录的记录数填满就好了。