统计学习 感知器算法

【线性判别与感知器算法】

线性判别：对于一个样本X以及判方程    ，判别超平面上的点X均满足方程   

• 而当时候，该点位于判别面的一侧，归为类别
• 而当时候，该点位于判别面的一侧，归为类别

而点X到超平面的距离的计算公式为：

对于类 其对应的标签y1=1;对于类 其对应的标签y2=-1

对于一次线性分类，以所有分类错误点到超平面的距离之和作为代价函数，计算公式为：

                其中Xi表示其中一个分类错误的点

那么线性分类的优化目标是：

其中前面的参数大小确定可忽略，计算对应的梯度：

• 
• 

随机选择一个错误分类点Xi  用于调整参数W和b  调整计算表达式为：

                         其中α为调整因子

 

【感知器算法流程】

1. 初始化和b   确定初始的判别函数 
2. 选择训练集中的样本(Xi,Yi)
3. 带入感知器判别函数
4. 若  也就是分类正确，那么判别函数不变  
5. 若  也就是分类错误，那么        调整参数
6. 不断的带入样本，直到所有样本都训练正确。

感知器算法实例：