低维嵌入
上一节讨论是基于一个重要假设：任意测试样本x附近任意小的距离范围内总能找到一个训练样本，即训练样本的采样密度足够大，或称为“密度采样”。但是，这个假设在现实任务中通常很难满足。
事实上，在高维情形下出现的数据样本稀疏、距离计算困难等问题，是所有机器学习方法共同面临的严重障碍，被称为“维数灾难”。而缓解该灾难的一个重要途径是降维，亦称“维数约简”，即通过某种数学变换将原始高维属性空间转变为一个低维“子空间”，在这个子空间中样本密度大幅提高，距离计算也变得更为容易。
为什么能进行降维?因为在很多时候，人们观测或收集到的数据样本虽然是高维的，但与学习任务密切相关的也许仅是某个低维分布，即高维空间中的一个低维“嵌入”。
若要求原始空间中样本之间的距离在低维空间中得以保持，如上襦所示，即得到“多维缩放”（简称MDS）这样一种经典的降维方法。
主成分分析
主成分分析（简称PCA）是最常用一种降维方法。
核化线性降维
线性降维方法假设从高维空间到低维空间的函数映射是线性的，然而，在不少现实任务中，可能需要非线性映射才能找到恰当的低维嵌入。下图给出了一个例子，样本点从二维空间中的矩形区域采样后以S形曲面嵌入到三维空间，若直接使用线性降维方法对三维空间观察到的样本点进行降维，则将丢失原本的低维结构。为了对“原本采样的”低维空间与降维后的低维空间加以区别，我们称前者为“本真”低维空间。
非线性降维的一种常用方法，是基于核技巧对线性降维方法进行“核化”。