理解信息内容的概念

Question

我不学习计算机科学，但我有兴趣了解信息内容的概念。

我看到了这两个例句：

a) On July 5th, it was over 100°F
b) On July 5th, it was 98°F

它说句子b）具有更高的信息量，因为对于句子a）只有小于/大于的可能性，而对于句子b）是无限多的可能性。

我同意 b) 的信息含量更高，但我不明白解释。

我会说 b) 具有更高的信息量，因为它可以准确地告诉您当时的温度。

但我想我的直觉理解是不正确的。如果一条消息没有解释的余地​​，我会说它具有很高的信息量。

a) Tomorrow, someone will visit me.
b) Tomorrow, my aunt will visit me.

我会自发地说，b) 信息量更大，因为它可以准确地告诉你谁来拜访。这里正确吗？

根据我的非科学理解，高信息量会很好，因为它会让你毫无疑问。但我想在信息论中，高信息量是不好的，因为这意味着信息需要很多位进行编码，而信息并不被视为好的东西，而只是需要传输的东西。这是一个很好的表达方式吗？

Answer 1

您的直觉是正确的：平均而言，您需要问的附加二元问题的数量才能确定细节本质上是信息内容。

但是，除非您有目标，否则信息论中没有固有的好或坏。

如果您的目标是压缩信号，信息论说可实现的限制是由信息内容给出的。所以从这个意义上说，低信息含量的信号更容易压缩（如果你正在寻找这可能会很好。）

对于通信渠道，您希望最大限度地利用渠道容量。如果您没有将频道使用到最大容量，则信息内容将不会达到应有的水平。

对于纠错，您希望具有具有相同信息内容但更大位表示的冗余。每个符号最小的信息内容意味着没有纠错，所以这很糟糕。