用python解压大于内存的文件

Question

我遇到了压缩文件的问题。我需要解压缩 bz2、xz、zst 文件并使用输出数据。然而，一些压缩文件是 10GB+，输出将至少为 50GB。

我只有 16GB 的内存，有没有办法：

1. 一次读取 1GB 的压缩文件
2. 使用读取的 1GB 压缩数据，解压后依次生成 1GB 数据（存储在内存中，不输出文件。我需要处理解压后的数据）

提前致谢。

Answer 1

原来，只有 zstd 支持流解压，见Stream Reader API。 bz2 和 xz 都不支持流解压，即使我尝试按块读取文件，截止也会使该块无效。