【笔记】《统计学习方法》(3)k近邻法

简书：https://www.jianshu.com/p/eb9d50312de8

第3章 k近邻法

1. k近邻法(k-nearest neighbor, k-NN)是一种基本分类与回归方法。
2. k近邻法的三个基本要素k值选择、距离度量、分类决策规则
3. k近邻法算法
   输入：训练数据集 T={(x1,y1),(x2,y2),...,(xN,yN)}$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$
   其中，xi∈X⊆Rn$x_i\in \mathcal{X}\subseteq {\mathbf{R}}^n$为实例的特征向量，yi∈Y={c1,c2,...,cK}$y_i\in \mathcal{Y}=\{c_1,c_2,...,c_K\}$为实例的类别，i=1,2,...,N$i=1,2,...,N$；实例特征向量x$x$
   输出：实例x$x$所属的类y$y$
   (1)根据给定的距离度量，再训练集T$T$中找出与x$x$最邻近的k$k$个点，涵盖这k$k$个点的x$x$的邻域记做Nk(x)$N_k(x)$；
   (2)在Nk(x)$N_k(x)$中根据分类决策规则（如多数表决）决定x$x$的类别y$y$
   
   y=argmaxcj∑xi∈Nk(x)I(yi=cj),i=1,2,...,N;j=1,2,...,K$$y=\arg ma{x}_{c_j}\sum _{x_i\in N_k(x)}I(y_i=c_j),i=1,2,...,N;j=1,2,...,K$$
   
   其中，I$I$为指示函数，当yi=ci$y_i=c_i$时I$I$为1，否则为0
4. 距离度量用Lp$L_p$距离或Minkowski距离。p=2时为欧式距离，p=1时为曼哈顿距离，p=∞$p=\mathrm{\infty }$时表示各个坐标距离的最大值
   
   Lp(xi,xj)=(∑l=1n|x(l)i−x(l)j|p)1pL∞(xi,xj)=maxl|x(l)i−x(l)j|$$\begin{gathered} L_p(x_i,x_j)=(\sum _{l=1}^n|x_i^{(l)}-x_j^{(l)}{|}^p{)}^{\frac{1}{p}} \\ {L}_{\mathrm{\infty }}(x_i,x_j)=\underset{l}{max}|x_i^{(l)}-x_j^{(l)}| \end{gathered}$$
5. k值选择较小时，近似误差减小，但估计误差增大，对近邻点非常敏感(异常点)，k值减小意味着整体模型变复杂，容易过拟合。较大k值模型过于简单，忽略有用信息。通常采用交叉验证法选取最优k值
6. 分类决策规则通常为多数表决规则(majority voting rule)，等价于经验风险最小化
7. 构造平衡kd树
   输入：k维空间数据集T={x1,x2,...,xN}$T=\{x_1,x_2,...,x_N\}$，其中xi=(x(1)i,x(2)i,...,x(k)i)T,i=1,2,...,N$x_i=(x_i^{(1)},x_i^{(2)},...,x_i^{(k)}{)}^T,i=1,2,...,N$
   输出：kd树
   (1)开始：构造根节点，根节点对应于包含T的k维空间的超矩形区域
   选择x(1)$x^{(1)}$维坐标轴，以T中所有实例的x(1)$x^{(1)}$坐标的中位数为切分点，将根节点对应的超巨型区域切分为两个子区域。切分由通过切分点并与坐标轴x(1)$x^{(1)}$垂直的超平面实现。
   由根节点生成深度为1的左、右子结点：左子结点对应坐标x(1)$x^{(1)}$小于切分点的子区域，右子结点对应于坐标x(1)$x^{(1)}$大于切分点的子区域
   将落在切分超平面上的实例点保存再根结点
   (2)重复：对深度为j的节点，选择x(l)$x^{(l)}$为切分的坐标轴，l=j(modk)+1$l=j(\mathsf{m}\mathsf{o}\mathsf{d}k)+1$，以该结点的区域中所有实例的x(l)$x^{(l)}$坐标的中位数为切分点，将该结点对应的矩形区域切分为两个子区域。切分由通过切分点并与坐标轴x(l)$x^{(l)}$垂直的超平面实现
   由该结点生成深度为j+1的左、右子结点：左子结点对应坐标x(l)$x^{(l)}$小于切分点的子区域，右子结点对应于坐标x(l)$x^{(l)}$大于切分点的子区域
   将落在切分超平面的实例点保存在该结点
   (3)直到两个子区域没有实例存在时停止。从而形成kd树的区域划分
   
   
8. 用kd树的最近邻搜索
   输入：以构造的kd树；目标点x；
   输出：x的最近邻
   (1)在kd树中找出包含目标点x的叶结点：从根节点出发，递归向下访问kd树。若目标点x当前维的坐标小于切分点的坐标，则移动到左子结点，否则移到右子结点。直到子结点为叶结点为止。
   (2)以此叶结点为“当前最近点”
   (3)递归向上回退，在每个结点进行以下操作：
   (a)如果该结点保存的实例点比当前最近点距离目标点更近，则以该实例点为“当前最近点”
   (b)当前最近点一定存在于该结点一个子结点对应的区域。检查该子结点的父结点的另一个子结点对应的区域是否有更近的点。具体地，检查另一个子结点对应的区域是否与以目标点为球心，以目标点与“当前最近点”间的距离为半径的超球体相交
   如果相交，可能再另一个子结点对应的区域内存在距目标点更近的点，移动到另一个子结点。接着，递归进行最近邻搜索；
   如果不想交，向上回退
   (4)当回退到根结点时，搜索结束，最后的“当前最近点”即为x的最近邻点
9. kd树搜索的平均计算复杂度是O(logN)$O(\log N)$，kd树更适用于训练实例数远大于空间维数时的k近邻搜索