将 Django DB 锁定在 10 个并发 uwsgi 工作人员上 - 如何？

Question

最优雅的方式是什么

在我进行复杂事务（读取、决定、写入）时锁定 Django DB

...在此期间其他 uwsgi 工作人员不应有权访问（或至少无写入访问权限）该表？

我正在使用 Django + db.sqlite3 + uwsgi (+ nginx)。

非常感谢！

---

编辑 1：

太棒了，当然 Django 本身就解决了这个问题。比我预期的要容易得多。很好，我四处打听！

这是我的黄色标记突出显示版本http://marker.to/W0CbtZ 关于交易的手册页https://docs.djangoproject.com/en/1.7/topics/db/transactions/。

谢谢，IRC :-)

---

编辑2：

我实际上是在寻找一个数据库锁，所有进程都在等待，直到轮到它们。

我今天学到的，我现在实施：

try: 
   with transaction.atomic():
      foo(obj)
      obj.save()     # (*)
except IntegrityError:
   print "debug information"

所以我永远不会得到不一致的数据库。但现在 (*) 抛出异常“OperationalError: database is locked”（this suggestion 也无济于事）。我理解，因为有几十个这样的事务同时试图保存到数据库。

我更需要的是类似

lock = threading.Lock()
...
with lock:
    foo(obj)
    obj.save()

但不是 threading，因为它需要锁定所有 uwsgi worker 进程。

欢迎任何想法。最优雅的方法是什么？现在要查看手册的哪一部分？我已经用谷歌搜索了，但没有找到答案——这就是我在这里问的原因。

非常感谢。

---

编辑 3：

由于我仍然有一小部分“OperationalError：数据库已锁定”失败（即使使用my threading.Lock），我实施了@knbk 的建议 - 但它没有奏效，这是输出：

up to here all is fine
ALERT! cannot start a transaction within a transaction
Out[]: False

这就是我按照@knbk 的code example 实现它的方式：

from django.db import connection

def foobar():
    cursor = connection.cursor()
    cursor.execute('BEGIN IMMEDIATE')  # also tried 'BEGIN EXCLUSIVE'
    try:
        myObjects = myModel.objects.filter(myFilter="myfilter")
        if myCondition(myObjects) > 0:
            obj = myObjects[0]
            print "up to here all is fine"
            obj.save()                                          
    except Exception as e:
        connection.rollback()
        print "ALERT!", e
        return False
    finally:
        connection.commit()
    return True

那么……现在呢？

---

编辑 4：

我现在自己解决了。我写了一个完整的 lockbydir.DLock 类，它使用目录存在和年龄 - 用于跨进程锁定！现在我可以简单地锁定对 Django DB 的访问，而不管使用哪个 DB。很高兴。也许你想看看？这是 GIT：

https://github.com/drandreaskrueger/lockbydir

请参阅自述文件。甚至还有 3 个 GIT 播放器可以观看代码示例在您的浏览器中实时执行！太好了，不是吗？ ;-)

感谢您的时间和关注！

Answer 1

获取锁的正确语句是BEGIN IMMEDIATE 和BEGIN EXCLUSIVE。第一个将获得一个锁，以防止其他进程获得写锁。第二个将获得一个锁，该锁也可以防止其他进程获得读锁。

Django 不提供执行这些语句的高级 api。相反，您必须使用数据库游标来直接执行这些语句：

from django.db import connection

cursor = connection.cursor()
cursor.execute('BEGIN IMMEDIATE')
try:
    my_objs = Model.objects.filter(...)
    etc...
except:
    connection.rollback()
finally:
    connection.commit()

免责声明：请注意，此方法，尤其是COMMIT EXCLUSIVE，将获取整个数据库的锁。 Sqlite 不支持行或表级锁定。在锁定期间没有其他进程能够写入数据库的任何部分，并且使用排他锁他们甚至无法读取。如果这是一个频繁的操作，或者您有一个写入繁重的数据库，请考虑使用 MySQL 或 PostgreSQL，它们都支持行/表级别锁定。如果您的站点需要 10 个并发工作人员，那么这可能是一个好主意。

Answer 2

现在，我可以（几乎！）通过添加 threading.Lock() 解决所有问题 - 所以很明显（大部分）问题是由同一工作进程的并发线程试图访问数据库引起的不是为此而生的 - sqlite3。

现在成功的解决方案是这样的：

from django.db import transaction, IntegrityError, OperationalError

import threading
lock = threading.Lock()

def foobar():
    with lock:  
        try:
            with transaction.atomic():
                obj = readFromDB() 
                if foo(obj): 
                    obj.save()                                          
        except (IntegrityError, OperationalError) as e:
            print "ALERT!", e
            return ABORTED
    return CORRECTO

这几乎总是返回 CORRECTO，即使在用数十个并发请求敲击服务器时，也会导致每秒数百次数据库访问。

但是，我仍然很少看到“OperationalError：数据库已锁定”。所以这些剩下的情况现在肯定是由进程（而不是线程）并发问题引起的。 我非常渴望的 Django DB 锁在哪里？ :-)

非常感谢所有试图帮助我的人！

---

我解决了。请参阅我原来的问题中的“EDIT 4”：Lock Django DB on 10 concurrent uwsgi workers - how to?