符号图中节点的信息熵是多少

Question

我正在尝试开发一种更好的信息熵直觉。我想看的示例是一个符号图，其中叶子是比根更具体的实体类型。

如果图表中的每个节点都可以使用相同的位数记录，例如.. 64 位 id 句柄.. 是否会认为更具体的“Jack Pine”节点的熵高于或低于“树”节点？

发布后 12 小时更新：也许这个概念不能用熵来理解。假设符号“jack pine”比符号“tree”包含更多信息，但可以使用相同数量的比特进行传输 - 在在这种情况下，接收符号的观察者正在根据先前的知识在他们的脑海中解压缩信息。因此，接收“jack pine”的符号比接收“tree”符号为他们提供了更多的信息，因为他们了解特定类型的树。这是否意味着“jack pine”的熵较低，因为它对于给定信号具有更多信息，因此具有更高的压缩率？

Answer 1

如果我假设每个分支的概率相等，那么从树到一种树会增加一点熵。从一棵松树变成一棵松树又增加了一点熵。知道它是一棵 Jack Pine 比仅仅知道它是一棵树要多出两点熵。