如何提取 .gz 文件的一部分（不是开头）？

Question

我有一个大的 gz 文件 (11 GB)，我无法将其解压缩到我的计算机上，即使有 100 GB 可用空间。我使用以下命令提取了前 50 GB：

gzip -cd file.gz | dd ibs=1024 count=50000000 > first_50_GB_file.txt

我能够从文件的这一部分成功解析我的数据。现在我想提取文件的另一部分进行解析。我试图从文件中提取最后 n 行，然后按如下方式解压缩：

tail -50 file.gz > last_part_of_file.gz

我希望之后，我可以使用：

gzip -cd last_part_of_file.gz | dd ibs=1024 count=50000000 > last_50_GB_file.txt

但 tail 命令仅测试 50 行需要 >10 分钟。

如果有人对如何提取 .gz 文件中不包括开头的部分（可能是任意的）有任何解决方案，我将不胜感激。

Answer 1

tail 不能处理二进制文件； tail -50 返回寻找 '\n' (char 10) 分隔符的最后 50 行。

gzip -cd file.gz | dd ibs=1024 count=50000000 > first_50_GB_file.txt

gzip -cd file.gz | dd ibs=1024 skip=50000000 > after_50_GB_file.txt

虽然我首先提取的文件大小是 100GB。 将空间限制为 50GB

gzip -cd file.gz | dd ibs=1024 skip=50000000 count=50000000 > next_50-100_GB_file.txt

接下来的 50GB

gzip -cd file.gz | dd ibs=1024 skip=100000000 count=50000000 > next_100-150_GB_file.txt

但每次 gzip 进程必须从归档文件的开头膨胀 由于压缩算法。