如何在附加数据上训练（k-NN）模型（为了绘制学习曲线）

Question

我正在玩MNIST database，我想为它绘制各种学习算法的学习曲线。为了这个问题，让我们考虑 k-NN 算法。

我使用mnist 包导入数据并将其转换为numpy.ndarray 对象。

import numpy as np
import matplotlib.pyplot as plt
from mnist import MNIST
mndata = MNIST('./data')

images_train, labels_train = mndata.load_training()
images_test, labels_test = mndata.load_testing()

labels_train = labels_train.tolist()
labels_test = labels_test.tolist()

X_train = np.array(images_train)
y_train = np.array(labels_train)
X_test = np.array(images_test)
y_test = np.array(labels_test)

但是，它在训练集中包含 60.000 个示例，因此对我的计算机来说太多了。我想绘制学习曲线，以了解进一步培训是否有意义。

import matplotlib.pyplot as plt
from sklearn.neighbors import KNeighborsClassifier

start_time = time.time()

training_range = range(500, 1500, 100)
test_size = 1000

training_accuracy = []
test_accuracy = []

for train_size in training_range:
    X_train_small = X_train[:train_size]
    y_train_small = y_train[:train_size]
    X_test_small = X_test[:test_size]
    y_test_small = y_test[:test_size]

    clf = KNeighborsClassifier(n_neighbors=3)
    clf.fit(X_train_small, y_train_small)
    training_accuracy.append(clf.score(X_train_small, y_train_small))
    test_accuracy.append(clf.score(X_test_small, y_test_small))

plt.plot(training_range, training_accuracy, label="training accuracy")
plt.plot(training_range, test_accuracy, label="test accuracy")
plt.ylabel("Accuracy")
plt.xlabel("Training size")
plt.title("Learning curve")
plt.legend()
plt.show()

输出：

绘制这个简单的图表需要一分钟多的时间，它最好地显示了仅对 1500 个元素进行训练的准确性。

主要问题是程序多次运行clf.fit(X_train_small, y_train_small)，每次都从头重新计算一切。

问题。有没有办法保存已经学习的数据并“训练”新数据？

我猜任意算法的答案是否定的，但是 k-NN 的工作方式原则上应该是可能的（这只是我的看法）。

Answer 1

正如 Vivek Kumar 所说，只有能够调用partial_fit() 方法的算法才能为所欲为，例如linear_model.Perceptron、linear_model.SGDClassifier 等。

为什么 KNN 没有部分拟合？因为当你想到 KNN 时，它在训练阶段没有任何努力，它是一个惰性算法。所有的努力都花在了测试阶段。它需要完整的数据集来决定。因为它需要完整的训练集才能决定，所以一次只给一个训练数据是没有意义的。