【问题标题】:Matlab libsvm - having troubles with the vector coefficients wMatlab libsvm - 向量系数 w 有问题
【发布时间】:2014-05-12 09:35:18
【问题描述】:

我的数据矩阵是一个 1000x65K 的矩阵,其中包含 500 个正例和 500 个负例。我的特征是二进制的(0 或 1)。我的标签是 [ones(500,1); -ones(500,1)];

我正在使用以下代码训练线性支持向量机:

ost = 0.1;
epsilon = 2;
gamma = 0.1;
degree = 3;
coef0 = 0;

options_string = ['-s 0 -t 0 ' ' -c ' num2str(cost) ' -p ' num2str(epsilon) ' -g ' num2str(gamma) ' -d ' num2str(degree) ' -r ' num2str(coef0) ' -b 1'];
SVRModel = svm_train(data, labels , options_string);

我正在使用以下代码计算系数向量 w:

w = zeros(1,M);
for i=1:length(SVRModel.sv_coef)
    w = w + SVRModel.sv_coef(i)*SVRModel.SVs(i,:);
end

但是,结果向量 w 的所有值都是相同的。另外,我得到了 484 个支持向量,所有前 424 个 svm 系数都是 0.1,其余的(也是 424 个)是 -0.1。

怎么可能?有人可以解释一下我的问题吗?

谢谢,

吉尔。

【问题讨论】:

  • 我猜你想要w(i) = w(i) + SVRModel.sv_coef(i)*SVRModel.SVs(i,:); 。另请注意,不建议在 MATLAB 中使用i 作为索引,因为它可能与内置虚数单位i = sqrt(-1) 混淆。这有时会导致一些奇怪的错误。
  • 感谢您的评论

标签: matlab machine-learning svm libsvm


【解决方案1】:

首先,线性 SVM 中不需要 gammacoef0

其次,我认为应该是

SVRModel = svm_train(labels, data, options_string);

在您的培训过程中。

你可以向量化权重和偏差项。

w = model.SVs' * model.sv_coef;
b = -model.rho;

【讨论】:

  • 感谢您的回复(+1)。有人告诉我,W(i) 值越高,分类的第 i 个特征就越重要。这是真的吗?
  • 谢谢 GilLevi。对于一般情况,我无法回答这个问题,因为有许多特征选择方法用于确定每个属性的重要性(您可以对“SVM 特征选择”进行文献搜索),我不确定特征排名是否来自那些方法与您从 SVM 获得的实际权重的排序一致。但是,如果对权重向量使用 L1 范数惩罚,它会自动进行特征选择,因此不相关属性对应的权重会自动设置为零。
  • 感谢您的评论@lennon310。你能解释一下L1规范惩罚是什么意思吗?谢谢!
  • GilLevi,这篇论文可能会有所帮助:dspace.cc.tut.fi/dpub/bitstream/handle/123456789/7993/… |w|公式(1)中的项可以是|w|^2(L2范数)或sum|wi| (L1 规范)。我认为 libsvm 做了 L2-norm 优化。
猜你喜欢
  • 2014-05-09
  • 2012-04-25
  • 2013-04-04
  • 2014-08-10
  • 2015-07-14
  • 2013-03-12
  • 2013-05-25
  • 1970-01-01
  • 2014-06-28
相关资源
最近更新 更多