接上一节内容
五、线性均方估计（LMS）
贝叶斯估计需要已知后验概率分布函数；最大似然估计需要知道似然函数，但是在很多情况下他们都是未知的。因此，不需要先验知识且容易实现的线性估计方法就显得十分有吸引力；
线性均方估计和最小二乘估计就是这样两类参数估计方法。
1、在线性均方估计中，待定的参数估计子被表示为观测数据的线性加权和，即
式中，，....,
为待确定的权系数。线性均方估计的原理就是使均方误差函数
最小。也就是说权系数通过下式确定
正交性原理：
2、在滤波应用中，我们会遇到这样的问题，即希望设计一组滤波器系数
，....,
，使用它们与随机信号x(n)的延迟形式x（n-i）的线性组合
逼近一已知的期望信号d(n），此时，线性均方误差就是可以实现的。
3、由于采用的是最小均方误差（MMSE）准则，故线性均方估计本质上就是一种MMSE估计子。
六、最小二乘估计（LS）
1、导入
在谱估计、系统辨识等中的矩阵方程多为欠定方程。
2、最小二乘估计
为确定参数估计向量，我们选择这样一种准则：使误差的平方和
为最小。所求得的估计称为最小二乘估计，记做。
3、损失或代价函数
唯一确定，此时称参数向量
是唯一可辨识的。
4、（Gauss-Markov）定理表明，当误差向量的各个分量具有相同的方差，而且各分量不相关时，最小二乘估计在方差最小的意义上是最优的。
5、加权最小二乘估计是对最小二乘估计的改进。
申明:内容依据张贤达教授所著《现代信号处理》第二版所总结归纳