Gaussian Mixture Model
1.Jensen Inequality（琴生不等式）:
,
离散形式：
连续形式：
概率形式：
也就是期望的函数值小于等于函数值的期望。
2.极大似然估计的困境
对于训练数据集，
，假设i
来自一个混合高斯概率分布，对数似然函数为：
这里log里面有求和，不方便继续求导计算。假设存在隐变量，
设是
的概率分布，这里最终要求的是混合高斯概率分布（就是说这对数据可以由最终的概率分布产生）是由多个高斯分布加权组成，每个独立的多维高斯分布都有自己的均值向量和协方差矩阵，因此隐变量
服从类别分布（离散）。
根据Jensen不等式:
依据上面的公式将似然函数进行缩放：
根据琴生不等式等号成立的条件：
可以得到E step
表示第i个样本来自第j个高斯分布的概率，也就是说W是一个n_samples*n_components的矩阵。
3.M step:
迭代进行极大化似然函数的下限，来不断逼近似然函数的最大值
下面证明迭代算法求最大值的正确性:
设第t轮对数似然函数为：
对于第t+1轮，最大化似然函数的下限值求得的有
因此似然函数值在迭代过程中是不断增大的。
对于特定组分的高斯分布密度函数为：
最大化这个下限表达式采用求导的方法，先将上面的概率密度函数代入：
对上述表达式关于均值向量协方差求导：
得到类别先验分布和各个高斯分布的期望向量矩阵和协方差矩阵：
原理讲完了，代码实现参见https://blog.csdn.net/to_be_to_thought/article/details/90760277
参考文献：
吴恩达CS229：https://see.stanford.edu/Course/CS229