Perl 删除重复的 XML 标签

Question

我有以下 XML 文件：

<d:entry id="a" d:title="a">
  <d:index d:value="a" d:title="a"/>
  <d:index d:value="b" d:title="b"/>
  <d:index d:value="a" d:title="a"/>
  <d:index d:value="c" d:title="c"/>
  <d:index d:value="b" d:title="b"/>
  <d:index d:value="a" d:title="a"/>
  <d:index d:value="b" d:title="b"/>
  <div>This is the content for entry.</div>
</d:entry>
<d:entry id="b" d:title="b">
  <d:index d:value="a" d:title="a"/>
  <d:index d:value="b" d:title="b"/>
  <div>This is the content for entry.</div>
</d:entry>

（为便于阅读添加了空格。）

<d:index 有一些重复项，我需要删除所有重复项，只保留一个唯一的<d:index。想要的效果是这样的：

<d:entry id="a" d:title="a">
   <d:index d:value="a" d:title="a"/>
   <d:index d:value="b" d:title="b"/>
   <d:index d:value="c" d:title="c"/>
   <div>This is the content for entry.</div>
</d:entry>
<d:entry id="b" d:title="b">
  <d:index d:value="a" d:title="a"/>
  <d:index d:value="b" d:title="b"/>
  <div>This is the content for entry.</div>
</d:entry>

为此，我可以在某些编辑器中进行正则表达式替换，但需要多次完成，我想知道 Perl 是否有一些方法可以一次性完成。

Answer 1

以下是过滤掉重复项的常用方法：

my @filtered = grep { !$seen{$_}++ } @unfiltered;

这可以根据你的需要进行调整，如下面的sn-p所示：

my %seen;
for my $index_node ($xpc->findnodes('d:index', $entry_node)) {
   my $value = $xpc->findvalue('@d:value', $index_node);
   my $title = $xpc->findvalue('@d:title', $index_node);
   if ($seen{$value}{$title}++) {
      $index_node->unbind();
   }
}

（我使用了我的首选解析器 XML::LibXML，因为您没有提及您使用的是哪个解析器。）

Answer 2

任何了解 XML 的人都会告诉您不要使用正则表达式处理，而是使用适当的 XML 解析器和 XML 工具。如果您知道文件的格式将始终与您显示的完全相同，则可以使用正则表达式（尽管不是我）来完成，例如换行符和双引号以及属性顺序与您的示例完全相同。但是如果你把它投入生产，那么生成 XML 的人会在一年后在 StackOverflow 上询问如何确保他们可以精确地生成这种格式的 XML，因为如果属性顺序错误或接收应用程序会中断，或者使用单引号而不是双引号。所以你正在为未来制造问题。 （请记住 Postel 定律，在这种情况下，这意味着您应该接受与此 XML 等效的任何格式良好的 XML）。

无论如何，在 XSLT 中执行此操作比您建议的方式要容易得多。假设您希望两个属性都匹配以使元素计为重复项，则代码为：

<xsl:template match="d:entry">
<xsl:copy>
  <xsl:for-each-group select="d:index" 
                      group-by="concat(@d:value, '~', @d:title)">
     <xsl:copy-of select="current-group()[1]"/>
  </xsl:for-each-group>
  <xsl:copy-of select="div"/>
</xsl:copy>
</xsl:template>

顺便说一句，您说“为可读性添加了空格”。那个空格，特别是如果它包含换行符，将对任何正则表达式解决方案产生重大影响，但对正确编写的 XSLT 完全没有影响。

Answer 3

使用Mojo::DOM:

perl -MMojo::DOM -0777 -E'my $dom = Mojo::DOM->new->xml(1)->parse(<>);
  $dom->find(q{d\\:entry})->each(sub { my %seen;
    $_->find(q{d\\:index})->each(sub {
      $_->remove if $seen{$_->{"d:value"}}{$_->{"d:title"}}++ }) });
  print $dom->to_string' input.xml

结果：

<d:entry d:title="a" id="a">
  <d:index d:title="a" d:value="a" />
  <d:index d:title="b" d:value="b" />

  <d:index d:title="c" d:value="c" />



  <div>This is the content for entry.</div>
</d:entry>
<d:entry d:title="b" id="b">
  <d:index d:title="a" d:value="a" />
  <d:index d:title="b" d:value="b" />
  <div>This is the content for entry.</div>
</d:entry>

• 如果实际内容没有这样的空格，去掉标签后就不会留下。否则，更多的逻辑可以删除空白文本节点。
• 我会为此使用 ojo，但它没有用于 XML 模式解析的快捷方式。
• 如果 XML 包含任何非 ascii 字符，则需要在 STDIN 上对其进行解码，并根据其编码在 STDOUT 上对其进行编码；如果是通常的 UTF-8，您可以使用 -CS 开关来执行此操作。