在测试子集上运行良好的 SVM 在整个数据集上失败

Question

我使用 sklearn 在大量数据上迭代训练了一个 SVM。每个 csv 文件都是图像的一部分。我用滑动窗口制作了那些。我使用 partial_fit() 来拟合 SVM 和缩放器。特征是图像的 RGBN 值，我想将图像分为两个不同的组 0 和 1。

def trainSVMIterative(directory):

    clf= SGDClassifier(learning_rate = 'constant', eta0 = 0.1, shuffle = False,n_iter_no_change = 5,  warm_start = True )
    sc = StandardScaler()
    firstIter = True
    iter = 0
    for filename in os.listdir(directory):
         if filename.endswith('.csv'):
            pixels = pd.read_csv(os.path.join(directory, filename),sep = ',')
            
            #drop columns containing irelevant information
            pixels = pixels.drop('x', axis = 1)
            pixels = pixels.drop('y', axis = 1)


            #dataset
            X = pixels.drop('label', axis = 1)
            #labels
            Y = pixels['label']

            #prepare training data
            X_train, X_test, y_train, y_test = train_test_split(X,Y,test_size = 0.2, random_state = 42) 

            #fit scaler
            sc = sc.partial_fit(X)

            #scale input
            X_train = sc.transform(X_train)
            X_test = sc.transform(X_test)

            
            #train svm
            if firstIter:
                 clf.partial_fit(X_train,y_train, classes=np.unique(Y))
                 firstIter = False
            else:
                clf.partial_fit(X_train,y_train)
                testPred = clf.predict(X_test)

                print(classification_report(y_test,testPred))

                iter+=1
                print(iter) 

            

    return clf, sc

当我在每次迭代后打印分类报告时，它看起来很好，准确率高达 98%。因此，我假设我的分类器正在正确训练。 为了测试，我从原始图像中提取了一个新的数据框。这一次，没有带有标签的列。我将分类器和定标器传递给我的测试函数

def testClassifier(path, classifier, scaler):
     #opening the original image, same process as in creating the training data
     raster = gdal.Open(path)
     array = tifToImgArray(raster, 'uint8')
     
     # select a part of the image to test on
     windowSize = 1000
     y = 19000
     x = 0
     window = array[y:y + windowSize,x:x + windowSize]

     #create the dataframe
     arrayData = []
 
     for i in range(window.shape[0]):
        for j in range(window.shape[1]):
           
            arrayData.append([i,j,array[i,j,0],array[i,j,1],array[i,j,2],array[i,j,3]])
                          
     dfData = pd.DataFrame(arrayData, columns=['x','y','R','G','B','N'])

     #again drop psoition information
     pixels = dfData.drop('x', axis = 1)
     pixels = pixels.drop('y', axis = 1)

     

     #use scaler 
     pixels = scaler.transform(pixels)
     
     #make prediction
     prediction = classifier.predict(pixels)
     

     image = visualizePrediction(prediction, window, dfData)     
            
            
     return image

我现在的问题是，分类器为每个像素预测标签“1”。我用于测试的数据框 X 与我在一次训练中使用的相同，只是在训练测试数据时没有拆分，我只是使用了整个集合。我真的不明白我做错了什么，因为分类器在 X 的一个子集上工作得很好。我认为这可能是一个问题，即有更多的数据点标记为“1”然后标记为“0”并且我不使用对数据的任何权重。但是，当我将数据集拆分为 X_train 和 X_test 时，为什么它会起作用，因为那里也是如此。 我会在这个问题上提供帮助。 问候

Answer 1

• 如果我们的模型的准确率非常高，那并不一定意味着它一直都做得很好（它可能在 train_data 上但不是在 test_data 上）。

  示例：假设我们有大约 100 行数据，其中 label1 = 90 #rows 和 label0 = 10 #rows。我们使用通常的test_train_split 并训练我们的模型（在我们的例子中，它是一个分类模型）并且看到准确率为 95%。由于我们的模型非常完美，我们部署了它，几天后我们注意到它的预测不如我们训练期间的那么好。原因是因为数据是倾斜的。即使模型预测“label0”错误，准确性仍然会随着“label1”预测占主导地位而提高，我认为这正是您的数据所发生的情况。

• 我们可以在进行预测后使用Confusion Matrix 进行检查。混淆矩阵评估我们模型的性能。我们还有其他指标，例如 F1 score、Roc curve，它们也非常有用。

• 我们可以通过将数据正确分布来解决这个问题。但大多数时候我们缺乏数据，我们拥有的所有数据都是这种倾斜的数据。在这种情况下，我们可以做一些叫做Oversampling and Undersampling的事情。