机器学习第四章

思维导图

4.1线性判据基本概念

生成模型：直接在输入空间中学习其概率密度p(x)

判别模型：直接在输入空间输出后验概率p(Ci|x)

• 线性判据：如果判别模型f(x)是线性函数，那f(x)为线性判据
• 对于二分类，决策边界是线性；对于多分类，相邻两类的决策边界也是线性
• 计算量少，适用于样本少的情况
• 线性判据模型：f(x) = wTx + w0
• 任意样本x到决策边界的垂直距离：r = f(x) / ||w||。

4.2线性判据学习概述

监督式学习(训练)过程（学习w和w0）

识别过程

• 解不唯一；
• 参数空间&解域（从解域中找到最优解）；
  • 设计目标函数 + 约束条件（提高泛化能力）
  • 最大/最小化目标函数
• 约束条件
  • 使得解域范围收缩

4.3并行感知机算法

• 预处理：参数合一，负类样本取反

• 目标函数是被错误分类的所有训练样本的输出取反求和。

• 目标函数求偏导后不含参数w和w0，故使用梯度下降迭代求解最优，需要设置步长、阈值，和初始化w和w0，当目标函数小于阈值或者大于等于0后，停止。

  

4.4串行感知机算法

• 并行感知机算法一次全部给出训练样本

  串行感知机算法一个一个串行给出训练样本

• 思想：当前样本被错误分类的程度最小。

• 目标函数

  

  

• 收敛性、全局最优&局部最优

• 感知机变体 b的作用：避免出现a=0的解

4.5Fisher线性判据

• 原理：找到一个合适的投影轴，使得两类样本在轴上重叠部分最少

  类间差异程度尽可能大、类内离散程度尽可能小

• 类间样本用均值差度量、类内样本用协方差矩阵度量

  

• 存在问题：两类部分样本在决策边界附近犬牙交错

4.6支持向量机基本概念

• 基本思想：给定一组训练样本，两个类与决策边界最近的训练样本到决策边界的间隔最大。

• 间隔
  

• 支持向量机(SVM)：最大化总间隔。

4.7拉格朗日乘数法

• 用于解决条件优化问题
  • 等式约束中g(x) = 0的条件，使得λ可正可负，f(x)和g(x)的梯度方向一定平行，但方向可能同向或者反向，且梯度幅值不同。
  • 不等式约束分为两种情况：
    • 一种是极值点在可行域内，即g(x) < 0，则必有λ=0；
    • 一种是极值点落在可行域边界，即λ大于0，故f(x)的梯度方向将和g(x)平行且相反

4.8拉格朗日对偶问题

• 不等式约束仍然带有约束条件，如何优化求解？

• 引入主问题，仍然难以求解

  

• 引入对偶函数，主问题最优值的下界

  

4.9支持向量机学习算法

• 带不等式约束的优化问题使用拉格朗日对偶法求解
• 构造拉格朗日函数、构建对偶函数、对偶问题的求解（二次规划问题、参数最优解w、w0）
• 支持向量机分类器

4.10软间隔支持向量机

• 软间隔：克服过拟合

• 允许在一定程度上，让训练样本出现在间隔区域内

• 引入松弛变量

  松弛变量的大小决定了错误分类的程度

• 引入正则系数

• 构建拉格朗日函数、对偶函数（在极值点得到）、求解参数w和w0最优解

  

4.11线性判据多类分类

• 多类分类的本质：非线性

  多个模型（线性/非线性）组合成非线性决策边界

• 策略

  • One-to-all： 假设每个类与剩余类可分
    • K个类、K-1个分类器
    • 正负样本个数不均衡？存在混淆区域问题？
  • 线性机： 假设每个类与剩余类线性可分。
    • 使用输出值投票法（max函数）给定测试样本