最大似然估计是一种用来在给定观察数据下估计所需参数的技术。比如,如果已知人口分布遵从正太分布,但是均值和方差未知, MLE(maximum likelihood estimation)可以利用有限的样本来估计这些参数。

1.正规定义

从分布f0f_0中引出nn个独立同分布的观察x1,x2,...xnx_1,x_2,...x_n,其中f0f_0是从一族依赖于几个θ\theta参数的分布ff而得来的。
MLE的目标就是最大化似然函数:
L=f(x1,x2,...xnθ)=f(x1θ)×f(x2θ)×...×f(xnθ)L=f(x_1,x_2,...x_n|\theta)=f(x_1|\theta)\times f(x_2|\theta)\times ...\times f(x_n|\theta)
通常,loglog似然函数更容易处理:
l^=1nlogL=1ni=1nlogf(xiθ)\hat{l}=\frac{1}{n}logL=\frac{1}{n}\sum_{i=1}^{n}logf(x_i|\theta)

2.举例

举例一

一个硬币被抛了100次,有61次正面朝上,假设硬币向上的概率猜测有三个13\frac{1}{3},12\frac{1}{2},23\frac{2}{3},以上三个哪个是最大似然估计?
求解:这个是伯努利分布,假设唯一参数为pp,因此:
P(H=61p=13)=(10061)(13)61(113)399.6×109P(H=61p=12)=(10061)(13)61(112)390.007P(H=61p=23)=(10061)(23)61(123)390.40P(H=61|p=\frac{1}{3})=\left(\begin{matrix}100\\61\end{matrix}\right)\left(\frac{1}{3}\right)^{61}\left(1-\frac{1}{3}\right)^{39}\approx9.6\times10^{-9}\\P(H=61|p=\frac{1}{2})=\left(\begin{matrix}100\\61\end{matrix}\right)\left(\frac{1}{3}\right)^{61}\left(1-\frac{1}{2}\right)^{39}0.007\\P(H=61|p=\frac{2}{3})=\left(\begin{matrix}100\\61\end{matrix}\right)\left(\frac{2}{3}\right)^{61}\left(1-\frac{2}{3}\right)^{39}\approx0.40
比较以上三个值可以得出p=23p=\frac{2}{3}是极大似然估计。

举例二

该例子利用导数为0得到极大似然估计,主动计算。
极大似然估计的数学意义及例题

分类:

技术点:

相关文章: