原文:https://www.cnblogs.com/bingjianing/p/9117330.html

在数据建模时,经常会用到多元高斯分布模型,下面就这个模型的公式并结合它的几何意义,来做一个直观上的讲解。

1, 标准高斯函数

多元高斯分布(The Multivariate normal distribution)

高斯函数标准型:

多元高斯分布(The Multivariate normal distribution)

这个函数描述了变量 x 的一种分布特性,变量x的分布有如下特点:

Ⅰ, 均值 = 0

Ⅱ, 方差为1

Ⅲ, 概率密度和为1

2, 一元高斯函数一般形式

 

多元高斯分布(The Multivariate normal distribution)

一元高斯函数一般形式:

多元高斯分布(The Multivariate normal distribution)

我们可以令:

多元高斯分布(The Multivariate normal distribution)

称这个过程为标准化, 不难理解,多元高斯分布(The Multivariate normal distribution),从z->x的过程如下:

Ⅰ, 将 x 向右移动 μ 个单位

Ⅱ, 将密度函数伸展 σ 倍

而标准化(x -> z)所做的事情就是上述步骤的逆向

唯一不太好理解的是前面 多元高斯分布(The Multivariate normal distribution) 中的σ, 为什么这里多了一个 σ, 不是 2σ 或其他?

当然,这里可以拿着概率密度函数的性质,使用微积分进行积分,为了保证最终的积分等于1, 这里必须是 σ

这里我想说一下自己的直观感受:

多元高斯分布(The Multivariate normal distribution)

实线代表的函数是标准高斯函数:

多元高斯分布(The Multivariate normal distribution)

虚线代表的是标准高斯函数在 x 轴方向2倍延展,效果如下:

A(x = 1) -> D(x = 2)

E(x = 1.5) -> F(x = 3)

G(x = 2) -> H(x = 4)

横向拓宽了,纵向还是保持不变,可以想象,最后的函数积分肯定不等于1

采用极限的思想,将 x 轴切分成无穷个细小的片段,每个片段可以与函数围城一个区域,因为我的切分足够小,这个区域的面积可以近似采用公式:面积 = 底 × 高 求得:

从 AQRS -> DTUV, 底乘以2倍,高维持不变,所以,要保持变化前后面积不变,函数的高度应该变为原来的 1/2

所以高斯函数在 x 轴方向做2倍延展的同时,纵向应该压缩为原来的一半,才能重新形成新的高斯分布函数

扩展到一般情形,x 轴方向做 σ 倍延拓的同时, y 轴应该压缩 σ 倍(乘以 1/σ)

3, 独立多元正态分布先假设n个变量 多元高斯分布(The Multivariate normal distribution)互不相关,且服从正态分布(维度不相关多元正态分布),各个维度的均值多元高斯分布(The Multivariate normal distribution), 方差 多元高斯分布(The Multivariate normal distribution)多元高斯分布(The Multivariate normal distribution)。根据联合概率密度公式:

多元高斯分布(The Multivariate normal distribution)

多元高斯分布(The Multivariate normal distribution)多元高斯分布(The Multivariate normal distribution)

这样多元正态分布又可以写成一元那种漂亮的形式了(注意一元与多元的差别):

多元高斯分布(The Multivariate normal distribution)

因为多元正态分布有着很强的几何思想,单纯从代数的角度看待z很难看出z的概率分布规律,这里需要转换成矩阵形式:

多元高斯分布(The Multivariate normal distribution)

等式比较长,让我们要做一下变量替换:

多元高斯分布(The Multivariate normal distribution)

定义一个符号

多元高斯分布(The Multivariate normal distribution)

∑代表变量 X 的协方差矩阵, i行j列的元素值表示多元高斯分布(The Multivariate normal distribution)多元高斯分布(The Multivariate normal distribution)的协方差。

因为现在变量之间是相互独立的,所以只有对角线上 (i = j)存在元素,其他地方都等于0,且多元高斯分布(The Multivariate normal distribution)与它本身的协方差就等于方差

∑是一个对角阵,根据对角矩阵的性质,它的逆矩阵:

多元高斯分布(The Multivariate normal distribution)

对角矩阵的行列式 = 对角元素的乘积

多元高斯分布(The Multivariate normal distribution)

替换变量之后,等式可以简化为:

多元高斯分布(The Multivariate normal distribution)

代入以z为自变量的标准高斯分布函数中:

多元高斯分布(The Multivariate normal distribution)

多元高斯分布(The Multivariate normal distribution)

多元高斯分布(The Multivariate normal distribution)

多元高斯分布(The Multivariate normal distribution)

多元高斯分布(The Multivariate normal distribution)

多元高斯分布(The Multivariate normal distribution)

多元高斯分布(The Multivariate normal distribution)

 

 

 

 

 

 

相关文章:

  • 2021-09-09
  • 2021-11-10
猜你喜欢
  • 2022-12-23
  • 2021-10-13
  • 2021-12-23
  • 2022-03-13
  • 2022-12-23
相关资源
相似解决方案