如何在某个标签第 n 次出现后将一个巨大的 xml 文件拆分为较小的文件？

Question

我有一个 30 GB 的 xml 文件，我想将其拆分为更小的文件。

文件中的数据是这样的：

<film>.....</film>
.
.
.
.
.
.
<film>.....</film>

我可以使用“split -l”，但问题是某些电影元素包含带有换行符的文本数据。所以一个电影元素可能不止一条线。

我想做的是拆分它，以便每个新的较小文件包含例如 3000 个电影元素。所以它应该在每 3000 个电影标签后拆分它......

我正在使用 Mac OS X，我想要一个 awk 解决方案。

我尝试使用这个split file on Nth occurrence of delimiter，但没有成功...在结束电影标签后没有拆分文件...

Answer 1

流式传输 XSLT 3.0 的作业：

<xsl:transform version="3.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform">
  <xsl:mode streamable="true" on-no-match="shallow-copy"/>    
  <xsl:template match="/*">
    <xsl:for-each-group select="*" group-adjacent="(position()-1) idiv 3000">
      <xsl:result-document href="chunk{position()}.xml">
        <xsl:copy>
          <xsl:copy-of select="."/>
        </xsl:copy>
      </xsl:result-document>
    </xsl:for-each-group>
  </xsl:template>
</xsl:transform>

这将比 awk 解决方案更健壮，因为它实际上解析 XML，因此它保证格式正确的输入和格式正确的输出。当您处理 30Gb 时，您无法手动检查输出，因此如果您未能预料到输入中可能出现的所有内容（例如标题中带有“电影”的电影），则存在未检测到垃圾的严重危险。因此，在标记结构上正常工作要安全得多。

另一件事是，如果您的输入是格式良好的 XML，它在 <film> 元素周围有一个包装器元素，如果输出要作为 XML 处理，则需要一个类似的包装器元素。 XSLT 解决方案免费处理这个问题。

您可能已经注意到，此样式表可以将任何 xml 文件拆分为块，当然块大小可以很容易地作为参数提供。

Answer 2

您正在寻找的可能是这样的：

awk '{ gsub(/@/,"@A"); gsub(/}/,"@B"); gsub(/<\/film>\n?/,"}") } 1' file |
awk -v RS='}' -v ORS='</film>' '
    (NR%3000)==1 { close(out); out="out"++cnt }
    { gsub(/@B/,"}"); gsub(/@A/,"@"); print > out }
'

但没有样本输入/输出，这是一个猜测，当然，未经测试。

Answer 3

当 Ed Morton 发布 awk 解决方案时，它通常是针对像我这样的低级别用户的小教程...

但无论如何，自从我过去一个半小时一直在做这个练习，我想冒险发布这个解决方案，这是一个转换by the link you already found

$ awk '$0 ~/<film.*>/{++delim} {file = sprintf("chunk%s", int(delim/7)); print >file; }' file4 

测试：
我使用了一个小的 bash 循环来创建一个包含 50 条记录的小电影文件，并将这些电影分成 7 份进行测试：

$ for ((i=1;i<50;i++));do echo -e "<film$i>..............</film$i>" >>file4;done
$ head file4
<film1>..............</film1>
<film2>..............</film2>
<film3>..............</film3>
<film4>..............</film4>
<film5>..............</film5>
<film6>..............</film6>
<film7>..............</film7>
<film8>..............</film8>
<film9>..............</film9>
<film10>..............</film10>

$ awk '$0 ~/<film.*>/{++delim} {file = sprintf("chunk%s", int(delim/7)); print >file; }' file4 
$ cat chunk0
<film1>..............</film1>
<film2>..............</film2>
<film3>..............</film3>
<film4>..............</film4>
<film5>..............</film5>
<film6>..............</film6>

每部电影都有一些换行符的另一个测试：

$ for ((i=1;i<50;i++));do echo -e "<film$i>...\n...\n...\n.....</film$i>" >>file4;done
$ head -n20 file4
<film1>...
...
...
.....</film1>
<film2>...
...
...
.....</film2>
<film3>...
...
...
.....</film3>
<film4>...
...
...
.....</film4>
<film5>...
...
...
.....</film5>


$ awk '$0 ~/<film.*>/{++delim} {file = sprintf("chunk%s", int(delim/7)); print >file; }' file4 

$ ls chunk*
chunk0  chunk1  chunk2  chunk3  chunk4  chunk5  chunk6  chunk7

$ cat chunk1
<film7>...
...
...
.....</film7>
<film8>...
...
...
.....</film8>
<film9>...
...
...
.....</film9>
<film10>...
...
...
.....</film10>
<film11>...
...
...
.....</film11>
<film12>...
...
...
.....</film12>
<film13>...
...
...
.....</film13>

嗯，在这两种情况下似乎都可以正常工作。请注意，在此配置中，输入文件按 7 部电影进行拆分，而不是按 7 行。您可以将此数字更改为任何值。