在“贝叶斯分类——朴素贝叶斯算法”中，我介绍了朴素贝叶斯分类的相关知识。其中的核心思想是利用变量之间的“朴素”性质，计算出联合概率密度。这依赖于朴素贝叶斯分类的一个限制条件，就是特征属性必须有条件独立或基本独立。但现实中各个特征属性间往往并不条件独立，而是具有较强的相关性，这样就限制了朴素贝叶斯分类的适用范围。贝叶斯分类中有一种应用范围更广的算法——贝叶斯网络（又称贝叶斯信念网络或信念网络）。
基本概念：
一个贝叶斯网络定义包括一个有向无环图（DAG）和一个条件概率表集合。
DAG中每一个节点表示一个随机变量，可以是可直接观测变量或隐藏变量，而有向边表示随机变量间的条件依赖；条件概率表中的每一个元素对应DAG中唯一的节点，存储此节点对于其所有直接前驱节点的联合条件概率。
正如上图所示，DAG和条件概率表集合构成了一个完整的贝叶斯网络。
基本结构：
在贝叶斯网络中，有如下三种基本结构：
分别是“顺序”，“同父”和“V型”结构。
而对于基本结构组合而成的复杂拓扑，我们为了分析有向图中变量间的条件独立性，使用“有向分离”（D-separation）方法：
- 图中V型结构的父节点之间加上一条无向边；
- 将所有有向边改为无向边。
- 若去掉某一节点z，某两个变量(x, y)可以被分为两个连通分量，则认为在z的条件下，x和y独立。
所以使用这种方法我们可以推算出在上图中：
- “顺序”结构里，Z已知的情况下，X和Y独立。
- “同父”结构里，Z已知的情况下，X和Y独立。
- “V型”结构里，Z已知的情况下，X和Y不独立。
关于“V型结构里，Z已知的情况下，X和Y不独立”这个结论，我们以图一为例去进行说明：比如此时已知某个学生 Grade 为 B，那么此时学生的聪明程度 Intelligence 和课程难度 Difficulty 就不再条件独立了。这种情况下如果课程比较容易，那边学生很聪明的概率较小；反之，若课程很难，则学生很聪明的概率较大。也就是说，变量的独立性有时是和某些中间变量是否被观测到有关联的。
基本定理：
贝叶斯网络中有一条极为重要的性质，就是我们断言：每一个节点在其直接前驱节点的值制定后，这个节点条件独立于其所有非直接前驱前辈节点。这条特性的重要意义在于明确了贝叶斯网络可以方便计算联合概率分布。
多变量非独立联合条件概率分布有如下求取公式（概率论中的链式法则）：
而在贝叶斯网络中，由于存在变量之间的独立性关系，任意随机变量组合的联合条件概率分布被化简成：
其中Parents表示xi的直接前驱节点的联合。
依赖这种方式，贝叶斯网络解决了朴素贝叶斯中对变量间独立性的苛刻要求，使算法的适用性更加广泛。当然，贝叶斯网络中也存在许多关键的技术难点，例如拓扑的构建、联合概率分布的近似推断等，后面有时间会继续往下写的。