python libxml2阅读器和XML_PARSE_RECOVER

Question

我正试图让阅读器从损坏的 XML 中恢复。将 libxml2.XML_PARSE_RECOVER 选项与 DOM api (libxml2.readDoc) 一起使用，它可以从实体问题中恢复。

但是，将选项与阅读器 API 一起使用（由于我们正在解析的文档的大小，这是必不可少的）不起作用。它只是陷入了一个永久循环（reader.Read() 返回-1）：

示例代码（附小例子）：

import cStringIO
import libxml2

DOC = "<a>some broken & xml</a>"

reader = libxml2.readerForDoc(DOC, "urn:bogus", None, libxml2.XML_PARSE_RECOVER | libxml2.XML_PARSE_NOERROR)

ret = reader.Read()
while ret:
    print 'ret: %d' % ret
    print "node name: ", reader.Name(), reader.NodeType()
    ret = reader.Read()

任何想法如何正确恢复？

Answer 1

我不太确定 libxml2 绑定的当前状态。甚至 libxml2 站点也建议改用 lxml。解析这棵树并忽略 & 在 lxml 中很干净：

from cStringIO import StringIO
from lxml import etree

DOC = "<a>some broken & xml</a>"

reader = etree.XMLParser(recover=True)
tree = etree.parse(StringIO(DOC), reader)
print etree.tostring(tree.getroot())

lxml 文档中的parsers page 更详细地介绍了设置解析器和迭代内容。

编辑：

如果您想逐步解析文档，也可以使用 XMLparser 类，因为它是 _FeedParser 的子类：

DOC = "<a>some broken & xml</a>"
reader = etree.XMLParser(recover=True)

for data in StringIO(DOC).read():
    reader.feed(data)

tree = reader.close()
print etree.tostring(tree)

Answer 2

xml 不是以某种一致的方式损坏的吗？在解析之前，您是否可以遵循某种模式来修复您的 xml？

例如 - 如果错误仅由未转义的 & 号引起，并且您不使用 CDATA 或处理指令，则可以使用正则表达式修复它。

编辑：然后看看 python 标准库中的 sgmllib。 BeautifulSoup 使用它，因此它对您的情况很有用。 （BeatifulSoup 本身只提供树表示，不提供事件）。

Answer 3

考虑使用xml.sax。当我看到真正格式不正确的 XML 时，可能会出现大量不同的问题，请尝试将问题分成小块。

您提到您有一个非常大的 XML 文件，它可能有许多您需要串行处理的记录。并且每条记录（例如<item>...</item> 都有一个开始和结束标签，大概 - 这些将是您的恢复点。

In xml.sax you provide the reader, the handler, and the input sources。更糟糕的是，使用这种技术将无法恢复单个记录。它的设置要多一些，但每次记录不良记录时增量解析格式错误的提要可能是您能做的最好的事情。

确保在日志中为自己提供足够的信息来重建原始记录，这样您就可以为您无疑必须处理的所有情况添加额外的恢复代码（例如，创建一个 badrecords_today's date.xml 以便您可以手动重新处理）。

祝你好运。

Answer 4

或者，您可以使用BeautifulSoup。它在恢复损坏的 ML 方面做得很好。