谁能用外行的术语解释物理学中的熵和信息系统中的熵的等价性或相似性？抱歉，我不是数学家，但我仍在努力理解这些概念，以便更好地理解这些概念。我对物理学中的熵有一个想法，但我不明白何时有人说信息系统中的熵及其用途和应用。感谢您的宝贵时间。
【问题讨论】：
标签： cryptography entropy information-theory
信息熵（也称为香农信息）是对新信息位的“惊喜”的度量。具有高熵的系统有很大的惊喜。低熵，小惊喜。
高熵系统难以压缩，因为每一位都令人惊讶，因此必须记录下来。
低熵系统很容易压缩，因为你可以根据你以前看到的情况来预测接下来会发生什么。
与直觉相反，这意味着显示静态（白噪声）的电视会呈现大量信息，因为每一帧都是随机的，而电视节目的信息相对较少，因为大多数帧都可以根据前一帧进行预测.同样，一个好的随机数生成器的定义是具有非常高的熵/信息/惊喜。
这也意味着熵的数量高度依赖于上下文。 pi 的数字具有非常高的熵，因为不可能预测任意数字（假设 pi 是normal）。但是，如果我知道您将向我发送 pi 的数字，那么这些数字本身具有 零 信息，因为我可以自己计算所有这些信息。
所有这些在密码学中发挥作用的原因是因为密码系统的目标是生成与随机无法区分的输出，也就是说，它采用低熵信息并输出高熵信息。密码算法的输出的熵不能超过其最高熵的输入。最高熵输入是人类选择的密码的系统将是非常糟糕的加密系统，因为它们非常可预测（信息很少；熵低）。一个好的加密系统将包括一个高熵值，例如一个播种良好且不可预测的随机数。如果这个随机数是可预测的（具有低熵），系统就会被削弱。
此时您必须小心，不要在热力学和信息熵之间进行过度类比。特别是，人们几乎只对热力学中的熵梯度感兴趣，而熵在信息论中被视为绝对值（以比特为单位）。相反，信息熵有时被错误地认为是一种在生成随机数时“耗尽”的能量形式。这在任何有用的方面都不正确，当然也不像热能。
此外，密码学家使用熵这个词的方式与香农使用它的方式并不完全相同。有关此问题的讨论，请参阅 Guesswork is not a substitute for Entropy。
关于这如何更广泛地适用于热力学和不适用于热力学（尤其是它如何适用于著名的麦克斯韦恶魔），我推荐 Wikipedia article 比较两种熵。
【讨论】：