在 Django 中聚合 save()s？

Question

我正在使用带有 sqlite 后端的 Django，写入性能是个问题。我可能会在某个阶段毕业到一个“合适的”数据库，但目前我被 sqlite 困住了。我认为我的写入性能问题可能与我正在创建大量行的事实有关，并且大概每次我save() 时都会锁定、解锁和同步磁盘上的数据库。

如何将大量 save() 调用聚合到单个数据库操作中？

Answer 1

已编辑：commit_on_success 已被弃用并在 Django 1.8 中被删除。请改用transaction.atomic。请参阅 Fraser Harris 的answer。

实际上，这比您想象的要容易。你可以在 Django 中使用transactions。这些批处理数据库操作（特别是保存、插入和删除）成为一个操作。我发现最容易使用的是commit_on_success。本质上，您将数据库保存操作包装到一个函数中，然后使用 commit_on_success 装饰器。

from django.db.transaction import commit_on_success

@commit_on_success
def lot_of_saves(queryset):
    for item in queryset:
        modify_item(item)
        item.save()

这将有巨大的速度提升。如果任何项目失败，您还将获得回滚的好处。如果您有数百万个保存操作，那么您可能必须使用 commit_manually 和 transaction.commit() 将它们分块提交，但我很少需要这样做。

希望对你有帮助，

会

Answer 2

Django 1.6 的新功能是atomic, a simple API to control DB transactions。从文档中逐字复制：

atomic 可用作decorator:

from django.db import transaction

@transaction.atomic
def viewfunc(request):
    # This code executes inside a transaction.
    do_stuff()

作为context manager:

from django.db import transaction

def viewfunc(request):
    # This code executes in autocommit mode (Django's default).
    do_stuff()

    with transaction.atomic():
        # This code executes inside a transaction.
        do_more_stuff()

旧版 django.db.transaction 函数 autocommit()、commit_on_success() 和 commit_manually() 已被弃用，并将在 Django 1.8 中删除。

Answer 3

我认为这是您正在寻找的方法：https://docs.djangoproject.com/en/dev/ref/models/querysets/#bulk-create

从文档中复制的代码：

Entry.objects.bulk_create([
    Entry(headline='This is a test'),
    Entry(headline='This is only a test'),
])

在实践中，看起来像：

my_entries = list()
for i in range(100):
    my_entries.append(Entry(headline='Headline #'+str(i))

Entry.objects.bulk_create(my_entries)

根据文档，这将执行单个查询，而不管列表的大小（SQLite3 上最多 999 个项目），这对于 atomic 装饰器来说是不能说的。

有一个重要的区别。听起来，从 OP 的问题来看，他试图批量创建而不是批量保存。 atomic 装饰器是保存最快的解决方案，但不是创建。

Answer 4

“如何将大量的 save() 调用聚合到单个数据库操作中？”

你不需要。 Django 已经为你管理了一个缓存。你不能通过尝试保存来改进它的数据库缓存。

“写入性能问题可能与我创建大量行有关”

正确。

SQLite 很慢。它就是这样儿的。查询比大多数其他数据库更快。写入速度很慢。

考虑更严重的架构更改。您是否在网络事务期间加载行（即批量上传文件并从这些文件加载​​数据库）？

如果您在网络事务中进行批量加载，请停止。你需要做一些更聪明的事情。使用celery 或使用其他一些“批处理”工具在后台进行加载。

我们尝试将自己限制在网络事务中的文件验证，并在用户不等待他们的 HTML 页面时进行加载。