信息熵 交叉熵 相对熵 条件熵 互信息

文章目录

• 信息熵
• 交叉熵
• 相对熵
• 条件熵
• 互信息

信息熵

信源所有可能发生情况的平均不确定性。

交叉熵

衡量两个变量的概率分布的差异性。

相对熵

用模型来衡量真实情况所需要的额外信息。
相对熵越小，模型就越接近真实分布。

条件熵

表示在已知随机变量Y的条件下随机变量X的不确定性。

互信息

互信息(Mutual Information)可以被看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不确定性。