相同 Keras 模型和数据的准确度低于 AUC [关闭]

Question

我有一个奇怪的 Keras 分类行为。

使用交叉验证与保留集时，我得到了不同的准确度。

2 个相同的模型，但具有不同的评估方法：

• Model1 使用 10-Kfold 交叉验证（达到 0.98 平均 AUC 和最低 AUC 0.89）。
• Model2 使用支持集（精度 0.82）

我预计模型 2 的最差准确度是最低折叠准确度（0.89 不是 0.82）。

小尺寸数据 ~10k x 13

Kfold：10 折

模型 1：

def create_baseline():
    # create model
    model = models.Sequential()
    model.add(layers.Dense(64, input_dim=set_1.iloc[:,0:-1].shape[1], activation='relu'))
    model.add(layers.Dense(64, activation='relu'))
    model.add(layers.Dense(1, activation='sigmoid'))
    model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
    return model

这是我代码的重要部分（其余部分与绘制 ROC 有关）：

注意：我尝试过标准化和不标准化

estimators = []
estimators.append(('standardize', MinMaxScaler()))
estimators.append(('mlp', KerasClassifier(build_fn=create_baseline, nb_epoch=1000, batch_size=1000, verbose=0)))
pipeline = Pipeline(estimators)
cv = StratifiedKFold(n_splits=10)
classifier = pipeline
mean_tpr = 0.0
mean_fpr = np.linspace(0, 1, 100)

colors = cycle(['cyan', 'indigo', 'seagreen', 'yellow', 'blue', 'darkorange'])
lw = 2
i = 0
for (train, test), color in zip(cv.split(X, y), colors):
    classifier.fit(X[train], y[train])
    probas_ = classifier.predict_proba(X[test])
    fpr, tpr, thresholds = roc_curve(y[test], probas_[:, 1])
    mean_tpr += interp(mean_fpr, fpr, tpr)
    mean_tpr[0] = 0.0
    roc_auc = auc(fpr, tpr)
    plt.plot(fpr, tpr, lw=lw, color=color,
             label='ROC fold %d (area = %0.2f)' % (i, roc_auc))

    i += 1

输出：

如您所见，我的平均 ROC 为 0.98。

问题：

模型 2：

std = MinMaxScaler()
X_norm = std.fit_transform(X)
X_train_norm, X_test_norm, y_train_norm, y_test_norm = train_test_split(X_norm, y, test_size=0.1, random_state=5)

Keras 模型

model_2 = models.Sequential()
model_2.add(layers.Dense(64, activation='relu', input_shape=(X_train.shape[1],)))
model_2.add(layers.Dense(64, activation='relu'))
model_2.add(layers.Dense(1, activation='sigmoid'))
model_2.compile(optimizer='adam',
loss='binary_crossentropy',
metrics=['accuracy'])

运行模型：

history = model_2.fit(X_train_norm,
y_train_norm,
epochs=1000,
batch_size=1000,
validation_data=(X_test_norm, y_test_norm))

结果（最后一次迭代）：

8988/8988 [==============================] - 0s - loss: 0.3517 - acc: 0.8249 - val_loss: 0.3701 - val_acc: 0.7954
Epoch 997/1000
8988/8988 [==============================] - 0s - loss: 0.3516 - acc: 0.8238 - val_loss: 0.3699 - val_acc: 0.8059
Epoch 998/1000
8988/8988 [==============================] - 0s - loss: 0.3516 - acc: 0.8250 - val_loss: 0.3694 - val_acc: 0.8038
Epoch 999/1000
8988/8988 [==============================] - 0s - loss: 0.3512 - acc: 0.8241 - val_loss: 0.3692 - val_acc: 0.7975
Epoch 1000/1000
8988/8988 [==============================] - 0s - loss: 0.3504 - acc: 0.8247 - val_loss: 0.3696 - val_acc: 0.7975

​为什么model2的性能低于model1？

注意： - 相同的数据、keras 模型的类型和种子，但结果不同！ - 我做了多次测试，有和没有标准化，有相同和不同的种子，我仍然有同样的问题。 - 我知道我可以使用更简单的模型，但我的问题与使用 Keras 分类器有关。

如果我做错了，请纠正我。

Answer 1

你好像有点糊涂了……

为什么model2的性能低于model1？

不是；准确地说，您的结果中没有任何内容表明它更低或更高。

2 个相同的模型，但具有不同的评估方法

您不仅使用不同的评估方法（CV 与验证集），还使用不同的指标：比较 ROC 曲线下的面积，即 AUC（模型 1）与准确度（模型 2） ) 就像比较苹果和橘子...

这些指标不仅不同，它们从根本上不同并且用于完全不同的目的：

• 准确性隐含地涉及应用于计算概率的阈值；粗略地说，对于二分类，当一个样本的计算概率高于这个阈值时，样本被分类为1，否则被分类为0。应用此阈值后计算精度，结果为0 或1（我的this answer 详细解释了该过程）。通常（在您的情况下），此阈值隐式设置为 0.5。

• ROC 曲线（和 AUC）不涉及最终的“硬”分类（0/1），而是前一阶段，即模型给出的计算概率，它们实际上给出了一个聚合性能一个二元分类器对所有可能的阈值进行平均。因此，ROC 和 AUC 对最终部署的模型几乎没有什么可说的，该模型始终包括上述决策阈值，关于选择的阈值 ROC 曲线本身什么也没说（有关更详细的说明，请参阅here）。

更新（在 cmets 进行了冗长的讨论后，很遗憾这无助于澄清事情）：

为了让自己相信我已经解释过的情况，请尝试执行您的模型 1 CV，但报告准确性而不是 ROC；这将恢复所有其他都相等条件，这是此类调查所必需的。您会看到准确度确实可以与您的模型 2 相媲美。

如果我做错了什么，请纠正我。

你不能说我没有尝试过……