变分推断和指数族分布

一、变分推断基础

首先，对数先验概率有：

ln p(X)=ln(p(X,Z)p(Z|X))=ln(p(X,Z)q(Z)⋅q(Z)p(Z|X))=ln(p(X,Z)q(Z))+ln(q(Z)p(Z|X))(1)(2)(3)$$\begin{array}{}\text{(1)}& lnp(X)& =ln\left(\frac{p(X,Z)}{p(Z|X)}\right)\text{(2)}& & =ln\left(\frac{p(X,Z)}{q(Z)}\cdot \frac{q(Z)}{p(Z|X)}\right)\text{(3)}& & =ln\left(\frac{p(X,Z)}{q(Z)}\right)+ln\left(\frac{q(Z)}{p(Z|X)}\right)\end{array}$$

⇒ln(p(X))=∫q(Z)ln(p(X,Z)q(Z))dZ+∫q(Z)ln(q(Z)p(Z|X))dZ=∫q(Z)ln(p(X,Z))dZ−∫q(Z)ln(q(Z))dZ+∫q(z)ln(q(Z)p(Z|X))dZ=L(q)+KL(q||p)(4)(5)(6)(7)$$\begin{array}{}\text{(4)}& \Rightarrow ln(p(X))=& \int q(Z)ln\left(\frac{p(X,Z)}{q(Z)}\right)dZ+\int q(Z)ln\left(\frac{q(Z)}{p(Z|X)}\right)dZ\text{(5)}& & =\int q(Z)ln(p(X,Z))dZ-\int q(Z)ln(q(Z))dZ\text{(6)}& & +\int q(z)ln\left(\frac{q(Z)}{p(Z|X)}\right)dZ\text{(7)}& & =\mathfrak{L}(q)+\mathbb{K}\mathbb{L}(q||p)\end{array}$$

上面的式子 L(q)$\mathfrak{L}(q)$ 里的变量是一个函数，我们通过改变函数使得函数的函数最大化，我们称这种研究思想为 变分；

由于 KL(q||p)≥0$\mathbb{K}\mathbb{L}(q||p)\ge 0$ ，故 ln(p(X))≥L(q)$ln(p(X))\ge \mathfrak{L}(q)$，我们给上面两项命名如下：

Evidence Lower Bound (ELOB):L(q)=∫q(Z)ln(p(X,Z))dZ−∫q(Z)ln(q(Z))dZ$EvidenceLowerBound(ELOB):\mathfrak{L}(q)=\int q(Z)ln(p(X,Z))dZ-\int q(Z)ln(q(Z))dZ$

KL divergence:KL(q||p)=∫q(z)ln(q(Z)p(Z|X))dZ$KLdivergence:\mathbb{K}\mathbb{L}(q||p)=\int q(z)ln\left(\frac{q(Z)}{p(Z|X)}\right)dZ$

有时候真实的后验分布非常复杂，我们想要利用简单的分布（我们知道这个分布的期望，极大值等）来近似这个复杂的后验分布，从而使得我们可以更加容易地进行求解。因此我们通过最小化 KL 散度使得 我们自己定的 q(Z)$q(Z)$ 尽可能地逼近后验分布 p(Z|X)$p(Z|X)$ （从下图可以较直观地看出来这个过程，其中绿色分布为我们想求解的后验分布，蓝色分布为我们已知较简单地分布 q(Z)，通过不断修改 q(Z) 中的参数，使得它越来越逼近我们想求解的后验分布）。

Note: Picture source

从上面的式子，我们知道，最小化 KL 散度，等价于最大化 ELBO。下面将一步步介绍如何最大化 ELBO L(q)$\mathfrak{L}(q)$：

q(Z) 的选择

假设我们选择的 q(Z) 满足下面的式子：

q(Z)=∏i=1mqi(Zi)$$q(Z)=\prod _{i=1}^m{q}_i(Z_i)$$

将这个 q(Z) 代换到 ELBO中，我们有：

L(q)=∫q(Z)ln(p(X,Z))dZ−∫q(Z)ln(q(Z))dZ=∫∏i=1mqi(Zi)ln(p(X,Z))dZ−∫∏i=1mqi(Zi)∑i=1mln(qi(Zi))dZ(8)(9)(10)$$\begin{array}{}\text{(8)}& \mathfrak{L}(q)& =\int q(Z)ln(p(X,Z))dZ-\int q(Z)ln(q(Z))dZ\text{(9)}& & =\int \prod _{i=1}^m{q}_i(Z_i)ln(p(X,Z))dZ\text{(10)}& & -\int \prod _{i=1}^m{q}_i(Z_i)\sum _{i=1}^{m}ln(q_i(Z_i))dZ\end{array}$$

下面我们对这个式子进行化简，先看上式第一项：

(part 1)==∫∏i=1mqi(Zi)ln(p(X,Z))dZ=∫Z1…∫Zm∏i=1mqi(Zi)ln(p(X,Z))dZ1…dZm∫Zjqj(Zj)(∫Zi≠j…∫ln(p(X,Z))∏i≠jmqi(Zi)dZi)dZj(11)(12)(13)$$\begin{array}{}\text{(11)}& (part1)& =\int \prod _{i=1}^m{q}_i(Z_i)ln(p(X,Z))dZ\text{(12)}& & ={\int }_{Z_1}\dots {\int }_{Z_m}\prod _{i=1}^m{q}_i(Z_i)ln(p(X,Z))d{Z}_1\dots d{Z}_m\text{(13)}& =& {\int }_{Z_j}{q}_j(Z_j)\left({\int }_{Z_{i\ne j}}\dots \int ln(p(X,Z))\prod _{i\ne j}^m{q}_i(Z_i)d{Z}_i\right)d{Z}_j\end{array}$$

我们只关注第 j 项的情况下，可以写成如下形式：

(part 1)=∫Zjqj(Zj)(E∏mi≠jqi(Zi)[ln(p(X,Z))])dZj$$(part1)={\int }_{Z_j}{q}_j(Z_j)\left({\mathbb{E}}_{\prod _{i\ne j}^m{q}_i(Z_i)}[ln(p(X,Z))]\right)d{Z}_j$$

第二项，可以作如下化简：

(part 2)=∫∏i=1mqi(Zi)∑i=1mln(qi(Zi))dZ=∑i=1m(∫Ziqi(Zi)ln(qi(Zi))dZi)(14)(15)$$\begin{array}{}\text{(14)}& (part2)& =\int \prod _{i=1}^m{q}_i(Z_i)\sum _{i=1}^{m}ln(q_i(Z_i))dZ\text{(15)}& & =\sum _{i=1}^m\left({\int }_{Z_i}{q}_i(Z_i)ln(q_i(Z_i))d{Z}_i\right)\end{array}$$

我们只关注第 j 项的情况下，可以写成如下形式：

(part 2)=∫Zjqj(Zj)ln(qj(Zj))dZj+const$$(part2)={\int }_{Z_j}{q}_j(Z_j)ln(q_j(Z_j))d{Z}_j+const$$

const 是不含 Zj$Z_j$ 的那些项。

结合两部分，我们代入 ELOB 中，得到：

L(q)=∫Zjqj(Zj)(E∏mi≠jqi(Zi)[ln(p(X,Z))])dZj−∫Zjqj(Zj)ln(qj(Zj))dZj+const$$\mathfrak{L}(q)={\int }_{Z_j}{q}_j(Z_j)\left({\mathbb{E}}_{\prod _{i\ne j}^m{q}_i(Z_i)}[ln(p(X,Z))]\right)d{Z}_j-{\int }_{Z_j}{q}_j(Z_j)ln(q_j(Z_j))d{Z}_j+const$$

作如下记号：

ln(p˜j(X,Zj))=E∏mi≠jqi(Zi)[ln(p(X,Z))]$$ln({\tilde{p}}_j(X,Z_j))={\mathbb{E}}_{\prod _{i\ne j}^m{q}_i(Z_i)}[ln(p(X,Z))]$$

这样我们就可以将 ELOB 表示成如下:

L(q)=∫Zjqj(Zj)ln[p˜j(X,Zj)qj(Zj)]+const$$\mathfrak{L}(q)={\int }_{Z_j}{q}_j(Z_j)ln\left[\frac{{\tilde{p}}_j(X,Z_j)}{q_j(Z_j)}\right]+const$$

由上式，最大化 L(q)$\mathfrak{L}(q)$，等价于最小化 KL(E∏mi≠jqi(Zi)[ln(p(X,Z))]||qj(Zj))$\mathbb{K}\mathbb{L}({\mathbb{E}}_{\prod _{i\ne j}^m{q}_i(Z_i)}[ln(p(X,Z))]||q_j(Z_j))$

因此，我们可以找到一个近似的最优的 q∗j(Zj)$q_j^{\ast }(Z_j)$，使得：

ln(q∗j(Zj))=E∏mi≠jqi(Zi)[ln(p(X,Z))]$$ln(q_j^{\ast }(Z_j))={\mathbb{E}}_{\prod _{i\ne j}^m{q}_i(Z_i)}[ln(p(X,Z))]$$

二、指数族分布(Exponential Family distributions )

大部分的分布我们会去寻找它是否能够根据它的 自然参数 写成指数族分布的形式（因为我们希望分布是类似指数族分布这样具有共轭分布、容易得到解析解的分布形式 ）：

p(x|η)=h(x)exp(T(x)T⋅η−A(η))$$p(x|\eta )=h(x)exp(T(x{)}^T\cdot \eta -A(\eta ))$$

其中，η$\eta$ 为自然参数（nature parameter）,T(y)$T(y)$ 为 sufficient statistic， A(η)$A(\eta )$ 为 log normalizer ；

其中 log normalizer 具有归一化的作用，因为：

∫xh(x)exp(T(x)T)exp(A(η))=1$$\frac{{\int }_{x}h(x)exp(T(x{)}^T)}{exp(A(\eta ))}=1$$

指数族分布的性质（优势）

1、A′(η)=∑ni=1T(xi)N$A^{\prime }(\eta )=\frac{\sum _{i=1}^{n}T(x_i)}{N}$

证：

=argmaxηargmaxη[logP(X|η)]=argmaxη[log∏i=1nP(X|η)][log(∏i=1nk(xi)exp(∑i=1nT(xi)T⋅η−nA(η)))]=argmaxη[∑i=1nT(xi)T⋅η−nA(η)](16)(17)(18)(19)$$\begin{array}{}\text{(16)}& & \underset{\eta }{argmax}\left[logP(X|\eta )\right]\text{(17)}& & =\underset{\eta }{argmax}\left[log\prod _{i=1}^{n}P(X|\eta )\right]\text{(18)}& =\underset{\eta }{argmax}& \left[log\left(\prod _{i=1}^{n}k(x_i)exp\left(\sum _{i=1}^{n}T(x_i{)}^T\cdot \eta -nA(\eta )\right)\right)\right]\text{(19)}& & =\underset{\eta }{argmax}\left[\sum _{i=1}^{n}T(x_i{)}^T\cdot \eta -nA(\eta )\right]\end{array}$$

⇒∂(∑ni=1T(xi)T⋅η−nA(η))∂η=∑i=1nT(xi)−nA′(η)=0$$\begin{gathered} \Rightarrow \frac{\mathrm{\partial }\left(\sum _{i=1}^{n}T(x_i{)}^T\cdot \eta -nA(\eta )\right)}{\mathrm{\partial }\eta }=\sum _{i=1}^{n}T(x_i)-n{A}^{\prime }(\eta ) \\ =0 \end{gathered}$$

⇒A′(η)=∑ni=1T(xi)N$$\Rightarrow A^{\prime }(\eta )=\frac{\sum _{i=1}^{n}T(x_i)}{N}$$

2、Ep(X|η)[T(X)]=▽ηA(η)${\mathbb{E}}_{p(X|\eta )}[T(X)]={▽}_{\eta }A(\eta )$

∫xh(x)exp(T(x)Tη−A(η))dx=1⇒▽η(∫xh(x)exp(T(x)Tη−A(η))dx)=0⇒∫x▽η(h(x)exp(T(x)Tη−A(η)))dx=0⇒∫x(h(x)exp(T(x)Tη−A(η)))(T(x)−▽ηA(η))dx=0⇒∫x(h(x)exp(T(x)Tη−A(η)))T(x)dx−∫x(h(x)exp(T(x)Tη−A(η)))▽ηA(η)dx=0⇒Ep(X|η)[T(X)]=▽ηA(η)(20)(21)(22)(23)(24)(25)$$\begin{array}{}\text{(20)}& & {\int }_{x}h(x)exp(T(x{)}^T\eta -A(\eta ))dx=1\text{(21)}& & \Rightarrow {▽}_{\eta }\left({\int }_{x}h(x)exp(T(x{)}^T\eta -A(\eta ))dx\right)=0\text{(22)}& & \Rightarrow {\int }_x{▽}_{\eta }\left(h(x)exp(T(x{)}^T\eta -A(\eta ))\right)dx=0\text{(23)}& & \Rightarrow {\int }_x\left(h(x)exp(T(x{)}^T\eta -A(\eta ))\right)(T(x)-{▽}_{\eta }A(\eta ))dx=0\text{(24)}& & \Rightarrow {\int }_x\left(h(x)exp(T(x{)}^T\eta -A(\eta ))\right)T(x)dx-{\int }_x\left(h(x)exp(T(x{)}^T\eta -A(\eta ))\right){▽}_{\eta }A(\eta )dx=0\text{(25)}& & \Rightarrow {\mathbb{E}}_{p(X|\eta )}[T(X)]={▽}_{\eta }A(\eta )\end{array}$$

（注意：性质二和性质一是不一样的，从证明可以很明显看出来）

3、指数族分布具有共轭先验

由贝叶斯公式，我们有：

p(β|X,Z,α)∝p(X,Z|β)p(β)=h(X,Z)exp(T(X,Z)Tβ−Al(β))⋅h(β)exp(T(β)Tα−A(α))⇒let T(β)=[β,−Al(β)]T ,α=[α1,α2]T∝h(β)exp(T(X,Z)Tβ−Al(β)+α1β−α2Al(β))=h(β)exp[(T(X,Z)+α1)β−(1+α2)Al(β)]=h(β)exp[T(β)T⋅[α1~α2~]](26)(27)(28)(29)(30)(31)(32)$$\begin{array}{}\text{(26)}& & p(\beta |X,Z,\alpha )\propto p(X,Z|\beta )p(\beta )\text{(27)}& & =h(X,Z)exp(T(X,Z{)}^T\beta -A_l(\beta ))\text{(28)}& & \cdot h(\beta )exp(T(\beta {)}^T\alpha -A(\alpha ))\text{(29)}& & \Rightarrow letT(\beta )=[\beta ,-A_l(\beta ){]}^T,\alpha =[{\alpha }_1,{\alpha }_2{]}^T\text{(30)}& & \propto h(\beta )exp(T(X,Z{)}^T\beta -A_l(\beta )+{\alpha }_1\beta -{\alpha }_2{A}_l(\beta ))\text{(31)}& & =h(\beta )exp[(T(X,Z)+{\alpha }_1)\beta -(1+{\alpha }_2)A_l(\beta )]\text{(32)}& & =h(\beta )exp\left[T(\beta {)}^T\cdot \left[\begin{array}{c}\widetilde{{\alpha }_1}\\ \widetilde{{\alpha }_2}\end{array}\right]\right]\end{array}$$

因此，当先验分布的 sufficient statistic 的第二项取为 −Al(β)$-A_l(\beta )$，即似然函数的 log normalizer 时，它和后验分布具有相同的分布，只是参数不同而已。

高斯分布（1维）：自然参数表达

N(x;μ,σ2)=(2πσ2)−12e−(x−μ)22σ2=exp(−x2−2xμ+μ22σ2−12ln(2πσ2))=exp([x,x2]⋅[μσ2,−12σ2]T−μ22σ2−12ln(2πσ2))(33)(34)(35)$$\begin{array}{}\text{(33)}& N(x;\mu ,{\sigma }^2)& =(2\pi {\sigma }^2{)}^{-\frac{1}{2}}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}\text{(34)}& & =exp\left(-\frac{x^2-2x\mu +{\mu }^2}{2{\sigma }^2}-\frac{1}{2}ln(2\pi {\sigma }^2)\right)\text{(35)}& & =exp\left([x,x^2]\cdot [\frac{\mu }{{\sigma }^2},-\frac{1}{2{\sigma }^2}{]}^T-\frac{{\mu }^2}{2{\sigma }^2}-\frac{1}{2}ln(2\pi {\sigma }^2)\right)\end{array}$$

其中，T(x)=[x,x2]$T(x)=[x,x^2]$，η=[η1,η2]T=[μσ2,−12σ2]T$\eta =[{\eta }_1,{\eta }_2{]}^T=[\frac{\mu }{{\sigma }^2},-\frac{1}{2{\sigma }^2}{]}^T$;

从中我们可以反解出 μ,σ2$\mu ,{\sigma }^2$， σ2=−12η2${\sigma }^2=-\frac{1}{2{\eta }_2}$；μ=−η12η2$\mu =-\frac{{\eta }_1}{2{\eta }_2}$

于是，我们可以写出高斯分布的自然参数表达如下：

N~(x;η)==exp([x,x2]⋅[η1,η2]T−μ22σ2−12ln(2πσ2))=exp⎛⎝[x,x2]⋅[η1,η2]T−(−η12η2)22(−12η2)−12ln(2π(−12η2))⎞⎠exp(T(x)Tη−(−η214η2−12ln(−2η2))−12ln(2π))(36)(37)(38)$$\begin{array}{}\text{(36)}& \tilde{N}(x;\eta )& =exp\left([x,x^2]\cdot [{\eta }_1,{\eta }_2{]}^T-\frac{{\mu }^2}{2{\sigma }^2}-\frac{1}{2}ln(2\pi {\sigma }^2)\right)\text{(37)}& & =exp\left([x,x^2]\cdot [{\eta }_1,{\eta }_2{]}^T-\frac{(\frac{-{\eta }_1}{2{\eta }_2}{)}^2}{2(\frac{-1}{2{\eta }_2})}-\frac{1}{2}ln(2\pi (\frac{-1}{2{\eta }_2}))\right)\text{(38)}& =& exp\left(T(x{)}^T\eta -\left(-\frac{{\eta }_1^2}{4{\eta }_2}-\frac{1}{2}ln(-2{\eta }_2)\right)-\frac{1}{2}ln(2\pi )\right)\end{array}$$

其中，A(η)=−η214η2−12ln(−2η2)$A(\eta )=-\frac{{\eta }_1^2}{4{\eta }_2}-\frac{1}{2}ln(-2{\eta }_2)$

我们利用性质一的结论：

⎡⎣⎢∂A(η)∂η1∂A(η)∂η2⎤⎦⎥=⎡⎣−η12η2(−η12η2)2−12η2⎤⎦=[μμ2+σ2]=⎡⎣∑ni=1xiN∑ni=1x2iN⎤⎦$$\left[\begin{array}{c}\frac{\mathrm{\partial }A(\eta )}{\mathrm{\partial }{\eta }_1}\\ \frac{\mathrm{\partial }A(\eta )}{\mathrm{\partial }{\eta }_2}\end{array}\right]=\left[\begin{array}{c}-\frac{{\eta }_1}{2{\eta }_2}\\ (\frac{-{\eta }_1}{2{\eta }_2}{)}^2-\frac{1}{2{\eta }_2}\end{array}\right]=\left[\begin{array}{c}\mu \\ {\mu }^2+{\sigma }^2\end{array}\right]=\left[\begin{array}{c}\frac{\sum _{i=1}^n{x}_i}{N}\\ \frac{\sum _{i=1}^n{x}_i^2}{N}\end{array}\right]$$

即，μ=∑ni=1xiN$\mu =\frac{\sum _{i=1}^n{x}_i}{N}$，σ2=∑ni=1x2iN−μ2=∑ni=1(xi−μ)2N${\sigma }^2=\frac{\sum _{i=1}^n{x}_i^2}{N}-{\mu }^2=\frac{\sum _{i=1}^n(x_i-\mu {)}^2}{N}$

这个结果显然和我们直接求高斯分布的极大似然的结论是一样的，但直接求明显求解过程要复杂很多。

三、变分推断与指数族分布

当先验和后验都是指数族分布时，我们可以更容易地找到近似后验分布的 q∗j(Zj)$q_j^{\ast }(Z_j)$；下面我们来看看这个过程：

本文第一部分已经得到 ELBO：

L(q)=∫q(Z)ln(p(X,Z))dZ−∫q(Z)ln(q(Z))dZ(39)$$\begin{array}{}\text{(39)}& \mathfrak{L}(q)& =\int q(Z)ln(p(X,Z))dZ-\int q(Z)ln(q(Z))dZ\end{array}$$

我们把 Z$Z$ 分为两部分： Z={Z,β}$Z=\{Z,\beta \}$，代入上式，得到：

L(q)=Eq(Z,β)[log p(X,Z,β|α)]−Eq(Z,β)[log q(Z,β)](40)$$\begin{array}{}\text{(40)}& \mathfrak{L}(q)& ={\mathbb{E}}_{q(Z,\beta )}[logp(X,Z,\beta |\alpha )]-{\mathbb{E}}_{q(Z,\beta )}[logq(Z,\beta )]\end{array}$$

首先，我们把后验分布写出指数族分布的形式，并且用 q$q$ 去近似它：

p(β|X,Z,α)=h(β) exp(T(β)T⋅ηg(X,Z,α)−Ag(ηg(X,Z,α)))$$p(\beta |X,Z,\alpha )=h(\beta )exp(T(\beta {)}^T\cdot {\eta }_g(X,Z,\alpha )-A_g({\eta }_g(X,Z,\alpha )))$$

q(β|λ)=h(β) exp(T(β)Tλ−Ag(λ))$$q(\beta |\lambda )=h(\beta )exp(T(\beta {)}^T\lambda -A_g(\lambda ))$$

以及，

p(Z|X,β)=h(Z) exp(T(Z)T⋅ηl(X,β)−Al(ηl(X,β)))$$p(Z|X,\beta )=h(Z)exp(T(Z{)}^T\cdot {\eta }_l(X,\beta )-A_l({\eta }_l(X,\beta )))$$

q(Z|Φ)=h(Z) exp(T(Z)TΦ−Al(Φ))$$q(Z|\mathrm{\Phi })=h(Z)exp(T(Z{)}^T\mathrm{\Phi }-A_l(\mathrm{\Phi }))$$

则我们可以通过改变 λ,Φ$\lambda ,\mathrm{\Phi }$，来改变 ELBO:

L(λ,Φ)=Eq(Z,β)[log p(X,Z,β|α)]−Eq(Z,β)[log q(Z,β)](41)$$\begin{array}{}\text{(41)}& \mathfrak{L}(\lambda ,\mathrm{\Phi })& ={\mathbb{E}}_{q(Z,\beta )}[logp(X,Z,\beta |\alpha )]-{\mathbb{E}}_{q(Z,\beta )}[logq(Z,\beta )]\end{array}$$

其中，为了简单，我们选取 q(Z,β)=q(Z)q(β)$q(Z,\beta )=q(Z)q(\beta )$

1、固定 Φ$\mathrm{\Phi }$，优化 λ$\lambda$

L(λ)=Eq[log p(X,Z,β|α)]−Eq[log q(Z,β)]=Eq[log p(β|X,Z,α)]+Eq[log p(X,Z)]−Eq[log q(Z)]−Eq[log q(β)]=Eq[log p(β|X,Z,α)]−Eq[log q(β)]+const=Eq[log(h(β) exp(T(β)T⋅ηg(X,Z,α)−Ag(ηg(X,Z,α))))]−Eq[log q(β)]+const=Eq[log(h(β))+Eq[T(β)T⋅ηg(X,Z,α)]−Eq[log (h(β) exp(T(β)Tλ−Ag(λ)))]+const=Eq(Z|Φ)[ηg(X,Z,α)]Eq(β|λ)[T(β)]−λEq[T(β)]+Ag(λ)+const(42)(43)(44)(45)(46)(47)(48)(49)(50)$$\begin{array}{}\text{(42)}& \mathfrak{L}(\lambda )& ={\mathbb{E}}_q[logp(X,Z,\beta |\alpha )]-{\mathbb{E}}_q[logq(Z,\beta )]\text{(43)}& & ={\mathbb{E}}_q[logp(\beta |X,Z,\alpha )]+{\mathbb{E}}_q[logp(X,Z)]\text{(44)}& & -{\mathbb{E}}_q[logq(Z)]-{\mathbb{E}}_q[logq(\beta )]\text{(45)}& & ={\mathbb{E}}_q[logp(\beta |X,Z,\alpha )]-{\mathbb{E}}_q[logq(\beta )]+const\text{(46)}& & ={\mathbb{E}}_q[log(h(\beta )exp(T(\beta {)}^T\cdot {\eta }_g(X,Z,\alpha )-A_g({\eta }_g(X,Z,\alpha ))))]-{\mathbb{E}}_q[logq(\beta )]+const\text{(47)}& & ={\mathbb{E}}_q[log(h(\beta ))+{\mathbb{E}}_q[T(\beta {)}^T\cdot {\eta }_g(X,Z,\alpha )]\text{(48)}& & -{\mathbb{E}}_q[log(h(\beta )exp(T(\beta {)}^T\lambda -A_g(\lambda )))]+const\text{(49)}& & ={\mathbb{E}}_{q(Z|\mathrm{\Phi })}[{\eta }_g(X,Z,\alpha )]{\mathbb{E}}_{q(\beta |\lambda )}[T(\beta )]-\lambda {\mathbb{E}}_q[T(\beta )]+\text{(50)}& & A_g(\lambda )+const\end{array}$$

由指数族分布的性质二：

Ep(X|η)[T(X)]=▽ηA(η)$${\mathbb{E}}_{p(X|\eta )}[T(X)]={▽}_{\eta }A(\eta )$$

代入上式，则有：

L(λ)=Eq(Z|Φ)[ηg(X,Z,α)]▽λAg(λ)−λ▽λAg(λ)+Ag(λ)+const$$\mathfrak{L}(\lambda )={\mathbb{E}}_{q(Z|\mathrm{\Phi })}[{\eta }_g(X,Z,\alpha )]{▽}_{\lambda }{A}_g(\lambda )-\lambda {▽}_{\lambda }{A}_g(\lambda )+A_g(\lambda )+const$$

最大化 L(λ)$\mathfrak{L}(\lambda )$，我们对其求导并令结果为0：

L(λ)=Eq(Z|Φ)[ηg(X,Z,α)]▽2λAg(λ)−▽λAg(λ)−λ▽2λAg(λ)+▽λAg(λ)+const=Eq(Z|Φ)[ηg(X,Z,α)]▽2λAg(λ)−λ▽2λAg(λ)=▽2λAg(λ)(Eq(Z|Φ)[ηg(X,Z,α)]−λ)=0(51)(52)(53)(54)$$\begin{array}{}\text{(51)}& \mathfrak{L}(\lambda )& ={\mathbb{E}}_{q(Z|\mathrm{\Phi })}[{\eta }_g(X,Z,\alpha )]{▽}_{\lambda }^2{A}_g(\lambda )-{▽}_{\lambda }{A}_g(\lambda )-\lambda {▽}_{\lambda }^2{A}_g(\lambda )+{▽}_{\lambda }{A}_g(\lambda )+const\text{(52)}& & ={\mathbb{E}}_{q(Z|\mathrm{\Phi })}[{\eta }_g(X,Z,\alpha )]{▽}_{\lambda }^2{A}_g(\lambda )-\lambda {▽}_{\lambda }^2{A}_g(\lambda )\text{(53)}& & ={▽}_{\lambda }^2{A}_g(\lambda )({\mathbb{E}}_{q(Z|\mathrm{\Phi })}[{\eta }_g(X,Z,\alpha )]-\lambda )\text{(54)}& & =0\end{array}$$

由于 ▽2λAg(λ)≠0${▽}_{\lambda }^2{A}_g(\lambda )\ne 0$，因此我们得到：

λ=Eq(Z|Φ)[ηg(X,Z,α)]$$\lambda ={\mathbb{E}}_{q(Z|\mathrm{\Phi })}[{\eta }_g(X,Z,\alpha )]$$

2、固定 λ$\lambda$，优化 Φ$\mathrm{\Phi }$

同上面的推到一样，我们可以得到类似的形式：

Φ=Eq(β|λ)[ηl(X,β)]$$\mathrm{\Phi }={\mathbb{E}}_{q(\beta |\lambda )}[{\eta }_l(X,\beta )]$$

注意这里只选取了两个变量 λ,Φ$\lambda ,\mathrm{\Phi }$；如果有多个变量的情况，应该用除了本身的分布以外剩下的所有分布的乘积来求期望。通过不断地迭代上面两个公式，不断地更新参数，直至收敛。

四、参考资料

---

[1] 李航《统计学习方法》
[2] 徐亦达教授的自视频
[3] machine-learning-notes.Professor Richard Xu .