概率图模型基础（1）

1  概率图模型理论基础

  概率图模型理论基础，来自PRML书籍第八章。

      概率图模型理论基础就上面两个公式，一个是求和公式，也就是求随机变量的X的边缘概率。这⾥p(X, Y )是联合概率，可以表述为“X且Y 的概率”。类似地，p(Y | X)是条件概率，可以表 述为“给定X的条件下Y 的概率”，p(X)是边缘概率，可以简单地表述为“X的概率”。注意该公式在任何情况下都是成立的。

2 贝叶斯网络

   考虑三个随机变量a，b，c。那么其联合概率分布按照product rule可以写成p(a, b, c) = p(c | a, b)p(a, b) ，再次使用product rule可以写成p(a, b, c) = p(c | a, b)p(b | a)p(a)。那么在这里我们求解联合概率的时候已经隐式的选择了一个特定的的顺序(即a，b，c），不同的选择顺序会导致求解顺序不同。按照我们的求解顺序，我们可以画出求解a，b，c联合概率的贝叶斯网络。

 

将其扩展到k个随机变量，我们有

注意这里的求解顺序是我们隐式选择的，那么现在假如给定一个7个节点的贝叶斯网络，如何求其联合概率呢？如下图

这种按照图来求解联合概率的跟前面求解顺序相反，我们可以依据贝叶斯网络写出联合概率求解公式

将其抽象到一般情况，即在一个给定k个节点贝叶斯网络中求解其联合概率公式为

注意x表示所有随机变量，pak表示k的父亲节点。

 

3 条件独立

这部分有关于有向图的三种局部条件独立结构以及D-划分规则，注意这里的条件独立性和D-划分其实是在图给定的情况下就已经有的，不是需要加条件推导出来的。

 

4  马尔科夫随机场

⽆向图的马尔科夫毯的形式相当简单，因为结点只条件依赖于相邻结点，⽽条件独⽴于任何 其他的结点。

4.1 马尔科夫随机场的分解性质

    这将我们引向了⼀个图形的概念，团块（clique）。它被定义为无向图图中结点的⼀个⼦集，使得在这个⼦集中的每对结点之间都存在链接。换句话说，团块中的结点集合是全连接的。此外， ⼀个最⼤团块（maximal clique）是具有下⾯性质的团块：不可能将图中的任何⼀个其他的结点包含到这个团块中⽽不破坏团块的性质

     让我们将团块记作C，将团块中的变量的集合记作xC。这样，联合概率分布可以写成图的 最⼤团块的势函数（potential function）ψC(xC)的乘积的形式

     由于我们的势函数被限制为严格⼤于零，因此将势函数表⽰为指数的形式更⽅便，即与有向图的联合分布的因⼦不同，⽆向图中的势函数没有⼀个具体的概率意义。

如何选择势函数。可以这样做：将势函数看成⼀种度量，它表⽰了局部变量的哪种配置优于其他的配置。

 

5 有向图和无向图的关系

包括如何有向图转无向图

6  推断

       在给定贝叶斯网络上。

6.1 链推断

这里谈到了利用乘法分配率进行联合概率计算的方法。

 

6.2 树

6.3 因子图

因子图帮助了解有向，无向图上因子分解更直观。

6.4  BP算法