增加 n_jobs 对 GridSearchCV 没有影响答案

【问题标题】：Increasing n_jobs has no effect on GridSearchCV增加 n_jobs 对 GridSearchCV 没有影响
【发布时间】：2018-12-02 06:45:30
【问题描述】：

我已经设置了简单的实验来检查多核 CPU 的重要性，同时运行 sklearn GridSearchCV 和 KNeighborsClassifier。我得到的结果令我感到惊讶，我想知道我是否误解了多核的好处，或者我没有做对。

2-8 个作业的完成时间没有差异。怎么会？我注意到 CPU 性能选项卡上的差异。当第一个单元运行时，CPU 使用率约为 13%，最后一个单元逐渐增加到 100%。我期待它更快地完成。也许不是线性更快，也就是 8 个作业会比 4 个作业快 2 倍，但会快一点。

我是这样设置的：

我用的是jupyter-notebook，cell指的是jupyter-notebook cell。

我已经加载了 MNIST，并在 X_play 中使用了 0.05 测试大小来测试 3000 数字。

from sklearn.datasets import fetch_mldata
from sklearn.model_selection import train_test_split

mnist = fetch_mldata('MNIST original')

X, y = mnist["data"], mnist['target']

X_train, X_test, y_train, y_test = X[:60000], X[60000:], y[:60000], y[60000:]
_, X_play, _, y_play = train_test_split(X_train, y_train, test_size=0.05, random_state=42, stratify=y_train, shuffle=True)

在下一个单元格中，我设置了 KNN 和 GridSearchCV

from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import GridSearchCV

knn_clf = KNeighborsClassifier()
param_grid = [{'weights': ["uniform", "distance"], 'n_neighbors': [3, 4, 5]}]

然后我为 8 个 n_jobs 值完成了 8 个单元格。我的 CPU 是 i7-4770，4 核 8 线程。

grid_search = GridSearchCV(knn_clf, param_grid, cv=3, verbose=3, n_jobs=N_JOB_1_TO_8)
grid_search.fit(X_play, y_play)

结果

Parallel(n_jobs=1)]: Done  18 out of  18 | elapsed:  2.0min finished
Parallel(n_jobs=2)]: Done  18 out of  18 | elapsed:  1.4min finished
Parallel(n_jobs=3)]: Done  18 out of  18 | elapsed:  1.3min finished
Parallel(n_jobs=4)]: Done  18 out of  18 | elapsed:  1.3min finished
Parallel(n_jobs=5)]: Done  18 out of  18 | elapsed:  1.4min finished
Parallel(n_jobs=6)]: Done  18 out of  18 | elapsed:  1.4min finished
Parallel(n_jobs=7)]: Done  18 out of  18 | elapsed:  1.4min finished
Parallel(n_jobs=8)]: Done  18 out of  18 | elapsed:  1.4min finished

第二次测试

随机森林分类器的使用要好得多。测试大小为0.5、30000 图像。

from sklearn.ensemble import RandomForestClassifier

rf_clf = RandomForestClassifier()
param_grid = [{'n_estimators': [20, 30, 40, 50, 60], 'max_features': [100, 200, 300, 400, 500], 'criterion': ['gini', 'entropy']}]

Parallel(n_jobs=1)]: Done 150 out of 150 | elapsed: 110.9min finished
Parallel(n_jobs=2)]: Done 150 out of 150 | elapsed: 56.8min finished
Parallel(n_jobs=3)]: Done 150 out of 150 | elapsed: 39.3min finished
Parallel(n_jobs=4)]: Done 150 out of 150 | elapsed: 35.3min finished
Parallel(n_jobs=5)]: Done 150 out of 150 | elapsed: 36.0min finished
Parallel(n_jobs=6)]: Done 150 out of 150 | elapsed: 34.4min finished
Parallel(n_jobs=7)]: Done 150 out of 150 | elapsed: 32.1min finished
Parallel(n_jobs=8)]: Done 150 out of 150 | elapsed: 30.1min finished

【问题讨论】：

标签： python multithreading scikit-learn knn

【解决方案1】：

以下是一些可能导致这种行为的原因

随着编号的增加。在线程中，初始化和释放每个线程都会产生明显的开销。我在我的 i7 7700HQ 上运行了你的代码，我看到了以下行为，每次增加 n_job
- 当n_job=1 和n_job=2 时，每个线程的时间（GridSearchCV 对模型进行全面训练和测试的时间）为 2.9 秒（总时间约 2 分钟）
- n_job=3时，时间为3.4s（总时间1.4分钟）
- n_job=4时，时间为3.8s（总时间58秒）
- n_job=5时，时间为4.2s（总时间51秒）
- n_job=6 时，时间为 4.2 秒（总时间约 49 秒）
- n_job=7 时，时间为 4.2 秒（总时间约 49 秒）
- n_job=8 时，时间为 4.2 秒（总时间约 49 秒）
现在您可以看到，每个线程的时间增加了，但总时间似乎减少了（尽管超出了n_job=4 the different was not exactly linear) and remained constained withn_jobs>=6` 这是因为初始化和释放线程会产生成本. 见this github issue和this issue。
此外，可能还有其他瓶颈，例如数据太大而无法同时广播到所有线程、线程抢占 RAM（或其他资源等）、如何将数据推送到每个线程线程等。
我建议您阅读有关 Ahmdal 定律的内容，该定律指出，可以通过公式给出的并行化实现加速的理论界限图片来源：Ahmdal's Law : Wikipedia
最后，这可能是由于数据大小以及您用于训练的模型的复杂性。

这是a blog post 解释有关多线程的相同问题。

【讨论】：