【问题标题】：Modifying Variational Autoencoder Architecture with SELU activation Function使用 SELU 激活函数修改变分自动编码器架构
【发布时间】：2017-12-14 11:15:03
【问题描述】：
在变分自动编码器架构中，我们使用了 mu 和 sigma 全连接层。然后是潜在变量层，该层从高斯分布中采样，即从下面层的 mu 和 sigma 中采样。并且在成本函数中，我们使用 KL 散度来确保潜在变量的激活遵循单位高斯分布。
因此，既然 SELU 是为了保证单位高斯激活而设计的，我们是否可以去掉 mu 和 sigma 全连接层，而使用 SELU 激活函数。
谢谢！！
【问题讨论】：
标签：
gaussian
activation
autoencoder
【解决方案1】：
您使用的激活函数在这里无关紧要，因为编码器网络中的最后一层不应该有任何激活。因此，即使 SELU 收敛到单位高斯分布，如果在生成潜在变量的层上没有激活，它也不会是单位高斯分布。
另外，编码器网络的输出是潜在变量分布的均值和方差，而不是潜在变量本身。因此，我们希望编码器输出的第一列为 0，编码器输出的第二列为 1，而不是让它们成为单位高斯。 SELU会让均值和方差的分布服从单位高斯，这在这里没有意义。