SQLAlchemy 吃内存

Question

我正在尝试在使用 Python 处理后将一些 XML 数据导入我的 MySQL 数据库。为简单起见，我通过一个使用 SQLAlchemy 访问我的数据库的脚本来完成这一切。

XML 文件有大约 80,000 个条目，我使用 xml.etree.cElementTree 的 iterparse 方法对其进行处理，并在使用它们后删除节点以将内存使用量保持在 20mb 左右。

一旦我包含 SQLAlchemy 并开始将内容添加到数据库中，我的内存使用量就会以每秒 10mb 的速度上升，直到脚本耗尽我的所有内存并且操作系统将其杀死。

我的代码基本上是这样的：

index = 0

for element in iterate_xml():
    ...

    index += 1

    session.add(Model(**data))

    if index % 1000 == 0:
        session.flush()
        session.commit()

我不确定还可以尝试什么。周期性的.flush() 和.commit() 确实有一点帮助，但它们并不能解决问题。

SQLAlchemy 不适合这项任务吗？

---

我这样设置 SQLAlchemy：

Base = declarative_base()
engine = create_engine(config.SQLALCHEMY_DATABASE_URI, echo=False)

Session = sessionmaker(bind=engine, autoflush=False, expire_on_commit=False)
session = Session()

我的桌子是这样的：

columns = []

for name, datatype in structure.iteritems():
    if isinstance(datatype, int):
        datatype = String(datatype or 20)

    column = Column(name, datatype)
    columns.append(column)

metadata = MetaData(bind=engine)
table = Table('table_name', metadata,
    Column('id', Integer, primary_key=True),
    *columns
)

metadata.drop_all(engine)
metadata.create_all(engine)

class MyTable(Base):
    __tablename__ = 'table_name'
    __table_args__ = {
        'autoload': True,
        'autoload_with': engine
    }

structure 是一个将列名映射到数据类型的字典（它是从 XML 生成的）：

structure = {
    'column_name': SQLAlchemyDataType,
    ...
}

Answer 1

这是您的代码的纯 SQLAlchemy 版本。在 0.7 和 0.8 测试，它不会泄漏任何内存，这对我来说并不奇怪，因为我们在持续集成下进行了十几个测试，以确保在许多场景下都不会泄漏。所以第一步是确认这个脚本不会泄露给你，然后试着弄清楚这个脚本和你的脚本之间有什么变化，以生成一个实际显示内存泄露的测试用例。

from sqlalchemy import Column, String, Integer, create_engine
from sqlalchemy.orm import Session
from sqlalchemy.ext.declarative import declarative_base

Base = declarative_base()

class Model(Base):
    __tablename__ = "a"

    id = Column(Integer, primary_key=True)
    data = Column(String)

e = create_engine("sqlite:///somefile.db")

Base.metadata.create_all(e)

session = Session(e)

for index in xrange(10000000):
    session.add(Model(data="data %d" % index))

    if index % 1000 == 0:
        print "flushing... %d" % index
        session.flush()
        session.commit()

当然，重要的是要注意 SQLAlchemy 过去曾泄漏内存的那些问题。这是最近修复的泄漏历史：

0.7.8 - 最新的。此处修复的泄漏仅在以下情况下发生：1. C 扩展，2. pyodbc 驱动程序，在某些结果获取操作期间（不是全部）

0.6.6 - C 扩展中的“十进制”结果处理器有泄漏。

0.6.6 - 如果用于以某些方式选择行，SQLSoup 扩展被识别为存在潜在泄漏（SQLSoup 现在是它自己的项目）

0.5.5 - 修复了当对象被解压并放回会话时潜在的内存泄漏

0.5.4 - 对 Session 的内存使用进行了重大改进。你肯定想远远超过这个版本。