为什么并行处理比普通代码花费更长的时间？

Question

这个想法是用不同的新语料库更新特定的预训练 word2vec 模型。我有以下

# c1, c2 are each a list of 100 files
filelist = [c1, c2, c3, c4, c5, c6, c7, c8, c9, c10]

def update_model(files):
    # loading a pre-trained model
    trained_model = gensim.models.Word2Vec.load("model_both_100")
    # Document feeder is an iterable
    docs = DocumentFeeder(files)
    trained_model.build_vocab(docs, update=True)
    trained_model.train(docs, total_examples=trained_model.corpus_count, epochs=trained_model.epochs)

with Pool(processes=10) as P:
    P.map(update_model, filelist)

运行大约需要 13 分钟。但是非并行版本（循环filelist）需要大约 11 分钟。为什么会这样？在 12 核 cpu 上运行。

Answer 1

Gensim 的Word2Vec 训练已经使用了多个线程——这取决于模型创建时的workers 参数。 （默认使用workers=3，但您的模型可能已经初始化为使用更多。）

因此，您将启动 10 个（重量级）进程，每个进程分别加载一个全尺寸模型。这很容易触发大量内存使用，从而导致虚拟内存交换。

然后，每个模型都进行自己的（单线程）词汇扩展，然后进行（一个管理线程和 3 个或更多工作线程）训练。如果它们都在同时训练，则意味着在 12 个核心处理器上的 10 个操作系统进程内有 40 个线程处于活动状态。在这种情况下，没有理由期望加速，线程多于内核的争用，以及所有争用完全不同的加载模型内存范围的竞争，都可以很容易地解释减速。

您真的要创建 10 个独立的增量更新模型吗？ （更新训练后它们会被重新保存为 10 个不同的文件名吗？）