多处理性能

Question

我创建了一个非常简单的脚本，它适用于多处理和 SQL。本练习的目的是获得最短的执行时间：

def Query(Query):
    conn = sqlite3.connect("DB.db")
    cur = conn.cursor()  
    cur.execute(Query)
    cur.close()
    conn.close()
    return


if __name__ == '__main__':
    conn = sqlite3.connect("DB.db")
    cur = conn.cursor()
    start = time.time()
    curOperations.execute(QUERY)
    curOperations.execute(QUERY)
    curOperations.execute(QUERY)
    end = time.time()
    TIME1 = end - start
    cur.execute('PRAGMA journal_mode=wal')
    conn.commit()

    start = time.time()
    pool = Pool(processes=2)
    pool.imap(Query,[QUERY, QUERY, QUERY])
    pool.close()
    pool.join()
    end = time.time()
    TIME2 = end - start
    cur.close()
    conn.close()

执行 20 次后 TIME1 的平均结果为 13.43，TIME2 为 10.39。

不应该低于那个吗？！我是不是做错了什么？

Answer 1

对于我的回答，我将假设您的查询仅读取数据库中的内容。

在尝试加快速度之前，您需要了解究竟是什么阻碍了进程加快。 并非所有速度问题都可以通过多处理来改善！

所以你真正需要做的是profile应用程序，看看它把时间花在了哪里。

由于 SQLite 会缓存查询，我建议在单个进程中分别计时每次执行查询。 我怀疑第一个查询比以下查询花费的时间更长。

还要考虑多处理情况下的开销。查询必须经过腌制并通过 IPC 发送到工作进程。然后每个工作人员必须创建一个连接和游标，然后关闭它们。在现实世界的情况下，您的查询函数会对数据做一些事情，例如将其返回给主进程，这也需要对其进行酸洗并通过 IPC 发送。

由于所有工作人员都访问同一个数据库，在某些时候从数据库读取将成为瓶颈。

如果您查询修改数据库，无论如何都会对访问进行序列化以防止损坏。