损失函数的一个自然选择是误分类点的总数。

算法 2.1 (感知机学习算法的原始形式)

输入:训练数据集T;学习率

输出:w,b;感知机模型。

(1)选取初值w0,b0;

(2)在训练集中选取数据(xi,yi);

(3)如果yi(w*xi+b)<=0...

(4)转至(2),直至训练集中没有误分类点。

 

2.3.2 算法的收敛性

将偏置b并入权重向量w,同样也将输入向量加以扩充,加进常数1。

 

定理 2.5 设数据集T是线性可分的,则

统计学习方法第二章

 

 2.3.3 感知机学习算法的对偶形式

 

本章概要

1.感知机是根据输入实例的特征向量x对其进行二类分类的线性分类模型:

f(x) = sign (w*x + b)

感知机模型对应于输入空间(特征空间)中的分离超平面w*x + b -= 0 。

2. 感知机学习的策略是极小化损失函数。

损失函数对应于误分类点到分离超平面的总距离。

3. 感知机学习算法是基于随机梯度下降法的对损失函数的最优化算法,有原始形式和对偶形式。

4.当训练数据集线性可分时,感知机学习算法是收敛的。感知机算法在训练数据集上的误分类次数k满足不等式:

k<=(R/r)^2

当训练数据集线性可分时,感知机学习算法存在无穷多个解,其解由于不同的初值或不同的迭代顺序而可能有所不同。

 

相关文章:

  • 2021-06-06
  • 2021-12-24
  • 2021-04-20
  • 2021-10-26
  • 2021-12-28
  • 2021-10-16
  • 2021-09-21
猜你喜欢
  • 2021-10-21
  • 2021-12-29
  • 2022-01-08
  • 2021-05-26
  • 2021-04-18
  • 2021-06-23
相关资源
相似解决方案