解析多个大型 XML 文件并写入 CSV

Question

我有大约 1000 个 XML 文件，每个文件大小为 250 MB。我需要从中提取一些数据并写入 CSV。 不能有任何重复的条目。

我有一个配备 4GB RAM 和 AMD A8 处理器的系统。

我已经在这里浏览了一些以前的帖子，但他们似乎没有回答我的问题。

我已经用 Python 编写了代码，并在一个示例 XML 上对其进行了测试，它运行良好。

但是当我在所有文件上使用它并且不得不中途终止进程时，它非常慢（每个文件几乎 15 分钟）。

加快流程的最佳解决方案是什么？

这是代码

path='data/*.xml'
t=[]
for fname in glob.glob(path):
    print('Parsing ',fname)
    tree=ET.parse(fname)
    root=tree.getroot()
    x=root.findall('//Article/AuthorList//Author')
    for child in x:
        try:
            lastName=child.find('LastName').text
        except AttributeError:
            lastName=''
        try:
            foreName=child.find('ForeName').text
        except AttributeError:
            foreName=''
        t.append((lastName,foreName))
    print('Parsed ',fname)

t=set(t)

我想要最快的方法来获取条目没有任何重复值。 （也许存储在某个数据库中而不是变量 t 中，由于更多的空闲 RAM，将每个条目存储在数据库中会加快速度吗？-无论我需要哪种方法）

Answer 1

不要将结果写入 Python 列表，而是创建一个带有UNIQUE 约束的数据库表，并将所有结果写入该表。完成所有写入后，将 DB 表转储为 csv。

如果您不希望有任何额外的依赖项来写入数据库，我建议您使用sqlite3，因为它在任何最近的 Python 安装中都是开箱即用的。

下面是一些开始使用的代码：

import sqlite3
conn = sqlite3.connect('large_xml.db')  # db will be created
cur = conn.cursor()
crt = "CREATE TABLE foo(fname VARCHAR(20), lname VARCHAR(20), UNIQUE(fname, lname))"
cur.execute(crt)
conn.commit()

path='data/*.xml'
for fname in glob.glob(path):
    print('Parsing ',fname)
    tree=ET.parse(fname)
    root=tree.getroot()
    x=root.findall('//Article/AuthorList//Author')
    count = 0
    for child in x:
        try:
            lastName=child.find('LastName').text
        except AttributeError:
            lastName=''
        try:
            foreName=child.find('ForeName').text
        except AttributeError:
            foreName=''
        cur.execute("INSERT OR IGNORE INTO foo(fname, lname) VALUES(?, ?)", (foreName, lastName))
        count += 1
        if count > 3000:  # commit every 3000 entries, you can tune this
            count = 0
            conn.commit()

    print('Parsed ',fname)

填充数据库后，将其转储到 csv，如下所示：

sqlite3 -header -csv large_xml.db "select * from foo;" > dump.csv

另外，尝试更快的解析方式。 此外，如果.text 属性在大多数情况下都可用， 以下可能会比异常处理更快：

lastName = getattr(child.find('LastName'), 'text', '')