为什么这个命令的 GNU 并行和单 CPU xargs 一样慢？

Question

我有一个 bash 命令，它获取一个充满 XML 文件的目录，通过 XSLT 将它们运行到 CSV，并将所有转换组合到一个文件中。我一直在尝试使用parallel，但此命令的 CPU 使用率从未超过 100%。我不能为此使用xargs，因为输出会散布在其中。

这需要大约 30 秒，但同样，输出是穿插的： find /path/to/xml -type f -iname '*.xml' -print0 | xargs -0 -P8 xsltproc transform.xsl > out.txt

这需要大约 90 秒。单核。 find /path/to/xml -type f -iname '*.xml' -print0 | xargs -0 xsltproc transform.xsl > out.txt

这也需要大约 90 秒。与单核一样慢，top 的 CPU 使用率永远不会超过 100%。 find /path/to/xml -type f -iname '*.xml' -print0 | parallel -0 xsltproc transform.xsl > out.txt

这看起来很简单，我不知道我错过了什么。谁能给个建议？

Answer 1

GNU Parallel 每个作业的开销约为 5 毫秒。因此，如果您的工作是短暂的，那么这种开销将成为限制因素。

xsltproc 可以将多个文件作为参数，因此这可能会有所帮助：

find /path/to/xml -type f -iname '*.xml' -print0 |
  parallel -X -0 xsltproc transform.xsl > out.txt

编辑

如果这样做是正确的：

find /path/to/xml -type f -iname '*.xml' -print0 |
  xargs -0 -P8 xsltproc transform.xsl > out.txt

（混合输出除外），那么-X 解决方案也必须做正确的事情。 xargs -P8 解决方案将在transform.xsl 之后放置许多文件名。 -X 也是如此。你确定xargs -P8 的输出是完整的（尽管是混合的）输出吗？

如果xlstproc 仅在单个文件名下可靠工作，试试这个：

find /path/to/xml -type f -iname '*.xml' |
  parallel --pipe -N100 --round-robin parallel xsltproc transform.xsl > out.txt

这会为每个 cpu 核心生成一个 parallel。因此，您现在应该看到所有 CPU 的 100% CPU 使用率或 100% 的磁盘 I/O。如果文件被缓存，那么您应该会看到 100% 的 CPU 使用率——不过，其中很多来自 GNU Parallel。