通俗的解释交叉熵与相对熵

一、交叉熵

(1):离散表示：

(2):连续表示：

两项中 H(p)是 p的信息熵，后者是p和q的相对熵；

二、相对熵

(1):离散表示：

(2):连续表示：

 

 三、二者关系