使用 python 2 构建大型 xml 文件

Question

我正在尝试获得在 Python 2/Django 中构建大型 XML 文件的最佳性能。

最终的 XML 文件约为 500mb。使用的第一种方法是使用 lxml，但它花费了 3.5 多个小时。我用 xml.sax (XMLGenerator) 进行了测试，花费了大约相同的时间，3.5 小时。

我正在尝试以最少的内存消耗找到最快的方法。我搜索了几天以找到最佳解决方案，但没有成功。

lxml 代码：

from lxml import etree

tree_var = etree.Element("tree_var", version='1.2')
DATE = etree.SubElement(DATETIME, "DATE")
DATE.text = datetime.date.today().strftime('%Y-%m-%d')
products = FromModel.objects.all().values_list('product_id')
for product in products:
if product.state == 'new':
    ARTICLE = etree.SubElement(tree_var, "ARTICLE", mode=product.state)

XMLGenerator 代码：

from xml.sax.saxutils import XMLGenerator
from xml.sax.xmlreader import AttributesNSImpl

with open("tmp/" + filename + ".xml", 'wb') as out:

    g = XMLGenerator(out, encoding='utf-8')
    g.startDocument()

    def start_tag(name, attr={}, body=None, namespace=None):
        attr_vals = {}
        attr_keys = {}
        for key, val in attr.iteritems():
            key_tuple = (namespace, key)
            attr_vals[key_tuple] = val
            attr_keys[key_tuple] = key

        attr2 = AttributesNSImpl(attr_vals, attr_keys)
        g.startElementNS((namespace, name), name, attr2)
        if body:
            g.characters(body)

    def end_tag(name, namespace=None):
        g.endElementNS((namespace, name), name)

    def tag(name, attr={}, body=None, namespace=None):
        start_tag(name, attr, body, namespace)
        end_tag(name, namespace)

g.endDocument()

我很确定 xml.sax 正在使用更少的内存，并且它会实时增加文件。另一方面，lxml 仅在循环结束时创建文件，使用巨大的缓冲区。

有什么建议吗？

谢谢！

Answer 1

阅读时您可能仍在加载整个输入文件。您可以尝试以下几行，以获取增量读取文件的示例。 This stackoverflow 问题也提供了比下面的 sn-p 更多的上下文。您还可以在iterparse() 中指定一个目标元素，以便一次转储整个目标元素。

for event, elem in etree.iterparse(in_file, events=('start', 'end',)):
    if event == 'start':
        start_tag(elem.tag, {}, elem.text)
    elif event == 'end':
        end_tag(elem.tag)

    # It's safe to call clear() here because no descendants will be accessed
    elem.clear()

    # Also eliminate now-empty references from the root node to elem
    while elem.getprevious() is not None:
        del elem.getparent()[0]