如何用香农熵产生的信息区分低熵和高熵

Question

我计算了一天中用户可能出现的状态（H:=Home、w:=Work 或 E:=Elsewhere）的熵级别。假设用户 A 一天中每个小时的可能状态为 {H,H,H,H,H,H,H,H,H,W,W,W,W,W,W,W,W, W,E,E,H,H,H,H}

P(H)=13/24=0.54

P(W)=9/24=0.38

P(E)=2/24=0.08

使用香农熵，我想计算用户的熵水平，以了解用户的可预测性。

H(A)=(-P(H)*log2(H)) + (-P(W)*log2(W)) + (-P(E)*log2(E))

=0.48 + 0.53 + 0.29

=1.3

如何区分这些以比特为单位的信息是低熵还是高熵？

Answer 1

当所有事件发生的概率相同时，熵最大，因此结果的不确定性最高

在您的情况下，最大熵是：

Hn = log2(24) = 4.5849625007

最小值为0。由您决定结果是否可以分类为高或低熵。