【发布时间】：2017-09-28 03:56:05
【问题描述】：
作为大学工作的一部分，我必须实施一个训练程序，从根本上说，它基于给定层的输入和输出之间的相关熵的测量值逐层训练 MLP。
我在https://github.com/pdoren/DeepEnsemble/blob/master/deepensemble/utils/utils_functions.py#L238-L264 和https://github.com/pdoren/DeepEnsemble/blob/master/deepensemble/utils/cost_functions.py#L210-L237 中成功找到了一些与相关熵相关的代码。但是，只有样本大小相同时才能使用此代码。
所以，我的问题是：如何计算 Theano 中 MLP 层的输入和输出之间的相关熵？
【问题讨论】：
-
我不明白你为什么要在输入和输出之间而不是在输出和基本事实之间做交叉熵
-
我认为你正在做一个自动编码器而不是一个 MLP。这是我发现计算输入和输出之间的相关熵的唯一解释。
-
T.sum(T.mean(T.exp(x**2/sigma), axis=0)) / T.sqrt(2*np.pi*sigma)，其中 x =输入输出。
标签： python machine-learning deep-learning theano