信息论基础

 熵

1） 定义

        熵又可以称为自信息，可以视为描述一个随机变量的不确定性的数量。一个随机变量的熵越大，它的不缺定性越大，那么正确估计其值的可能性就越小，越不确定的随机变量越需要大的信息量用以确定其值。

2）联合熵

3）条件熵

4） 互信息（用于断词）

         根据熵的连锁规则，有

 因此，

       这个差叫做X和Y的互信息，记作I(X;Y)，其反应的是在知道了Y的值以后X的不确定性的减少量。可以理解为Y的值透露了多少关于X的信息量。

       互信息越大，说明两汉字关联度强。

5） 相对熵

6） 交叉熵

7） 困惑度