利用多核进行 tar+gzip/bzip 压缩/解压缩

Question

我通常使用tar zcvf 压缩并使用tar zxvf 解压缩（由于习惯使用gzip）。

我最近获得了一个具有超线程的四核 CPU，因此我有 8 个逻辑核心，我注意到许多核心在压缩/解压缩期间未使用。

有什么方法可以利用未使用的内核使其更快？

Answer 1

您可能要考虑的一个相对较新的（解）压缩工具是zstandard。它在利用备用内核方面做得非常出色，并且在压缩比与（去）压缩时间方面做了一些很好的权衡。它还可以根据您的压缩比需求进行高度调整。

Answer 2

常用方法

tar 程序有选项：

-I, --use-compress-program PROG
      filter through PROG (must accept -d)

您可以使用多线程版本的归档器或压缩器实用程序。

最流行的多线程存档器是pigz（而不是 gzip）和pbzip2（而不是 bzip2）。例如：

$ tar -I pbzip2 -cf OUTPUT_FILE.tar.bz2 paths_to_archive
$ tar --use-compress-program=pigz -cf OUTPUT_FILE.tar.gz paths_to_archive

归档器必须接受 -d。如果您的替换实用程序没有此参数和/或您需要指定其他参数，则使用管道（必要时添加参数）：

$ tar cf - paths_to_archive | pbzip2 > OUTPUT_FILE.tar.gz
$ tar cf - paths_to_archive | pigz > OUTPUT_FILE.tar.gz

单线程和多线程的输入输出兼容。您可以使用多线程版本进行压缩，使用单线程版本进行解压，反之亦然。

p7zip

对于用于压缩的 p7zip，您需要如下所示的小型 shell 脚本：

#!/bin/sh
case $1 in
  -d) 7za -txz -si -so e;;
   *) 7za -txz -si -so a .;;
esac 2>/dev/null

另存为 7zhelper.sh。这里是使用示例：

$ tar -I 7zhelper.sh -cf OUTPUT_FILE.tar.7z paths_to_archive
$ tar -I 7zhelper.sh -xf OUTPUT_FILE.tar.7z

xz

关于多线程 XZ 支持。如果您运行的是 XZ Utils 5.2.0 或更高版本，您可以通过环境变量 XZ_DEFAULTS（例如 XZ_DEFAULTS="-T 0"）将 -T 或 --threads 设置为适当的值来利用多个内核进行压缩。

这是 5.1.0alpha 版本的 man 片段：

多线程压缩和解压还没有实现，所以这个 选项暂时无效。

但是，这不适用于解压缩尚未解压的文件 在启用线程的情况下进行压缩。来自 5.2.2 版的 man：

尚未实现线程解压。它只会工作 在包含多个具有大小信息的块的文件上 块头。多线程模式下压缩的所有文件都满足这个 条件，但以单线程模式压缩的文件即使 使用 --block-size=size。

用替换重新编译

如果你从源代码构建 tar，那么你可以使用参数重新编译

--with-gzip=pigz
--with-bzip2=lbzip2
--with-lzip=plzip

使用这些选项重新编译 tar 后，您可以查看 tar 帮助的输出：

$ tar --help | grep "lbzip2\|plzip\|pigz"
  -j, --bzip2                filter the archive through lbzip2
      --lzip                 filter the archive through plzip
  -z, --gzip, --gunzip, --ungzip   filter the archive through pigz

Answer 3

如果您希望文件名和压缩选项更灵活，您可以使用：

find /my/path/ -type f -name "*.sql" -o -name "*.log" -exec \
tar -P --transform='s@/my/path/@@g' -cf - {} + | \
pigz -9 -p 4 > myarchive.tar.gz

第一步：find

find /my/path/ -type f -name "*.sql" -o -name "*.log" -exec

此命令将查找您要归档的文件，在本例中为 /my/path/*.sql 和 /my/path/*.log。添加任意数量的-o -name "pattern"。

-exec 将使用find 的结果执行下一条命令：tar

第二步：tar

tar -P --transform='s@/my/path/@@g' -cf - {} +

--transform 是一个简单的字符串替换参数。它将从存档中删除文件的路径，以便在解压缩时将 tarball 的根目录变为当前目录。请注意，您不能使用-C 选项来更改目录，因为您将失去find 的好处：将包含目录的所有文件。

-P 告诉tar 使用绝对路径，因此它不会触发警告“Removingleading `/' from member names”。前导 '/' 无论如何都会被 --transform 删除。

-cf - 告诉tar 使用我们稍后会指定的压缩包名称

{} + 使用 find 之前找到的所有文件

第三步：pigz

pigz -9 -p 4

使用尽可能多的参数。 在这种情况下，-9 是压缩级别，-p 4 是专用于压缩的核心数。 如果你在负载很重的网络服务器上运行它，你可能不想使用所有可用的内核。

第 4 步：存档名称

> myarchive.tar.gz

终于。

Answer 4

您可以使用快捷方式 -I 来切换 tar 的 --use-compress-program 开关，并调用 pbzip2 来在多核上进行 bzip2 压缩：

tar -I pbzip2 -cf OUTPUT_FILE.tar.bz2 DIRECTORY_TO_COMPRESS/

Answer 5

您可以使用pigz 代替 gzip，后者在多个内核上进行 gzip 压缩。您可以通过 pigz 管道而不是使用 -z 选项：

tar cf - paths-to-archive | pigz > archive.tar.gz

默认情况下，pigz 使用可用内核的数量，如果无法查询，则使用 8 个。您可以使用 -p n 询问更多信息，例如-p 32. pigz 具有与 gzip 相同的选项，因此您可以使用 -9 请求更好的压缩。例如

tar cf - paths-to-archive | pigz -9 -p 32 > archive.tar.gz

Answer 6

您还可以使用 tar 标志“--use-compress-program=”来告诉 tar 使用什么压缩程序。

例如使用：

tar -c --use-compress-program=pigz -f tar.file dir_to_zip