KL距离/相对熵
P和q不满足对称性,所以不是真正的“距离”
(数学中的距离必须满足非负性、对称性、三角不等式)

当两个概率分布完全相同时,相对熵为0

KL距离/相对熵

KL距离/相对熵
【证明:
(1) 若存在x使得q(x)=0,则D(q||p)=∞
(2) 若q(x)> 0,

D(q||p)
KL距离/相对熵

相关文章:

  • 2022-12-23
  • 2022-12-23
  • 2021-06-13
  • 2021-07-13
  • 2022-12-23
  • 2021-11-14
  • 2022-12-23
  • 2021-08-17
猜你喜欢
  • 2022-12-23
  • 2021-09-22
  • 2021-11-02
  • 2021-10-07
  • 2021-09-24
  • 2021-11-16
  • 2022-12-23
相关资源
相似解决方案