2-2 混合高斯模型Gaussian Mixture Model
GMM模型介绍
GMM可以描述为：
训练目标：
并且满足：
在限制条件下，不适合采用随机梯度下降Stochastic Gradient Descent，很难保证Σ_k≻0恒大于0。下面采用期望最大化方法Expectation Maximization。
训练GMM模型
引入隐含变量t
在这里我们引入隐含变量t，如下图。根据该模型可得，
EM方法训练GMM模型
1）如何估计θ？
假设t已知，并且给定该点所属分类的概率p(t=c|x_i,θ)，则
在这里如果为协方差怎么得到？
2）如何估计p(t=c│x_i,θ)？
假设已知θ，则
其中，第一步的推导是根据贝叶斯公式，
从而，
小结
EM方法用于估计GMM参数过程如下：
1）初始化参数θ（当选择不同的初始值，效果不一样，可能陷入局部最优）
2）在收敛之前一直重复以下两个步骤
a 对于每个点计算p(t=c│x_i,θ)
b 更新参数θ