【发布时间】：2016-01-09 17:21:59
【问题描述】：
有人遇到过计算多层感知器权重矩阵熵的方法吗？
【问题讨论】：
标签： machine-learning neural-network entropy information-theory
【发布时间】：2016-01-09 17:21:59
【问题描述】：
评估多层感知器的权重矩阵，然后计算该矩阵的熵。
一种方法可以是矩阵的冯诺依曼熵。你可以在wikipedia.找到总体概述你也可以在here.寻找它的优化
编辑： 香农熵是冯诺依曼熵的一个特例。从Shannons entropy 开始，它易于理解并且最有可能满足您的需求。
【讨论】：
-
就 CS von neumann entropy 而言是一个非常抽象的对象，实际上您最终会得到简单的 Shannons 熵，这对于该领域的新手来说是一件更好的事情。