如何在python中使用线程

Question

我想用它来读取 17770 个文件中的值，并将它们全部添加到一个字典对象的末尾。我有一台 8 核的机器。

这是代码

def run_item_preprocess ():
    scores = {};
    for i in range(1,17771):
        filename1 = "x_" + str(i) + ".txt";
        lines1 = open(filename1).readlines();
        Item1 = {};
        for line in lines1:
            tokens = line.split(',');
            Item1[int(tokens[1])] = int(tokens[2]);
        for j in range(1,17771):
            if j == i:
                continue;
            filename2 = "x_" + str(i) + ".txt";
            lines2 = open(filename2).readlines();
            Item2 = {};
            for line in lines2:
                tokens = line.split(',');
                u = int(tokens[1]);
                r = int(tokens[2]);
                if u in Item1:
                    Item2[u] = r;
            if i not in scores:
                scores[i] = {};
            scores[i]= (s(Item1,Item2),j);

Answer 1

这是精彩的multiprocessing 模块。它允许您使用进程而不是线程来并行化代码。这将使用所有内核。

一个重要的区别是进程不共享内存。队列将有助于减少步骤。

Answer 2

下面是 python 库参考的一些好的部分。

http://docs.python.org/py3k/library/threading.html

http://docs.python.org/py3k/library/_thread.html

至于如何有效地使用线程，我推荐你谷歌'python线程教程'之类的。

Answer 3

您认为使用线程对此有何帮助？

虽然 Python 支持线程，但标准实现 (CPython) 执行 only one thread at a time。因此，很难看出这将如何使进程运行得更快，即使在多核上也是如此。

（不过，如果您使用的是 JPython 或 IronPython，则此限制不适用。）