如何在 Matlab 中的 PCA 之后从线性 SVM 绘制决策边界？答案

【问题标题】：How to plot decision boundary from linear SVM after PCA in Matlab?如何在 Matlab 中的 PCA 之后从线性 SVM 绘制决策边界？
【发布时间】：2017-08-20 01:56:54
【问题描述】：

我在一个大型数据集上执行了线性 SVM，但是为了减少维度的数量，我执行了 PCA，而不是在组件分数的子集上执行了 SVM（前 650 个组件解释了 99.5%方差）。现在我想使用在 PCA 空间中创建的 SVM 的 beta 权重和偏差在原始变量空间中绘制决策边界。但我不知道如何将偏差项从 SVM 投影到原始变量空间中。我写了一个演示，使用 Fisher 鸢尾花数据来说明：

clear; clc; close all

% load data
load fisheriris
inds = ~strcmp(species,'setosa');
X = meas(inds,3:4);
Y = species(inds);
mu = mean(X)

% perform the PCA
[eigenvectors, scores] = pca(X);

% train the svm
SVMModel = fitcsvm(scores,Y);

% plot the result
figure(1)
gscatter(scores(:,1),scores(:,2),Y,'rgb','osd')
title('PCA space')

% now plot the decision boundary
betas = SVMModel.Beta; 
m = -betas(1)/betas(2); % my gradient
b = -SVMModel.Bias;     % my y-intercept
f = @(x) m.*x + b;      % my linear equation
hold on
fplot(f,'k')
hold off
axis equal
xlim([-1.5 2.5])
ylim([-2 2])

% inverse transform the PCA
Xhat = scores * eigenvectors';
Xhat = bsxfun(@plus, Xhat, mu);

% plot the result
figure(2)
hold on
gscatter(Xhat(:,1),Xhat(:,2),Y,'rgb','osd')

% and the decision boundary
betaHat = betas' * eigenvectors';
mHat = -betaHat(1)/betaHat(2);
bHat = b * eigenvectors';
bHat = bHat + mu;    % I know I have to add mu somewhere...
bHat = bHat/betaHat(2);
bHat = sum(sum(bHat)); % sum to reduce the matrix to a single value
% the correct value of bHat should be 6.3962

f = @(x) mHat.*x + bHat;
fplot(f,'k')
hold off

axis equal
title('Recovered feature space')
xlim([3 7])
ylim([0 4])

任何关于我如何错误地计算 bHat 的指导将不胜感激。

【问题讨论】：

正确的y轴截距是b = -SVMModel.Bias/betas(2)

标签： matlab svm pca

【解决方案1】：

以防万一其他人遇到这个问题，解决方案是可以使用偏置项来找到 y 截距，b = -SVMModel.Bias/betas(2)。 y 截距只是空间中的另一个点[0 b]，可以通过 PCA 对其进行逆变换来恢复/取消旋转。然后可以使用这个新点来求解线性方程 y = mx + b（即 b = y - mx）。所以代码应该是：

% and the decision boundary 
betaHat = betas' * eigenvectors'; 
mHat = -betaHat(1)/betaHat(2);
yint = b/betas(2);                   % y-intercept in PCA space
yintHat = [0 b] * eigenvectors';     % recover in original space
yintHat = yintHat + mu;    
bHat = yintHat(2) - mHat*yintHat(1); % solve the linear equation
% the correct value of bHat is now 6.3962

【讨论】：