自信息

[信息论与编码] 02. 信息的测度
可寻得自信息定义式为:
[信息论与编码] 02. 信息的测度
当 r = 2 时,自信息单位为比特(bit)
当 r = e 时,自信息单位为奈特(nat)
当 r = 10时,自信息单位为哈特(hart)

自信息的意义

若 a 未发生,则 I(a) 表示a发生的不确定性;
若 a 已发生,则 I(a) 表示a提供的信息量。

自信息与概率

自信息描述的是事物的不确定度,而概率论是数学中描述不确定性的部分。自信息的数学描述将依托概率的描述和计算进行。
自然语言描述:事物的自信息等于该事件发生的概率取倒再取对数的值。

联合自信息

[信息论与编码] 02. 信息的测度

条件自信息[信息论与编码] 02. 信息的测度

相关文章:

  • 2022-12-23
  • 2022-12-23
  • 2022-02-18
  • 2021-05-17
  • 2022-12-23
  • 2022-12-23
  • 2021-11-11
  • 2022-01-22
猜你喜欢
  • 2021-08-18
  • 2022-01-06
  • 2022-12-23
  • 2021-11-25
  • 2021-07-10
  • 2021-08-21
相关资源
相似解决方案