ReLu 在千层面中具有阈值

【问题标题】：ReLu with a threshold in LasagneReLu 在千层面中具有阈值
【发布时间】：2016-03-17 20:01:51
【问题描述】：

我正在使用 Lasagne 包构建一个简单的卷积网络，并希望添加一个具有简单阈值 [max(0,x-threshold)] 的 ReLu 层，但只能找到没有可训练参数的整流器 (lasagne.layers.NonlinearityLayer ) 或具有正在相乘的参数 (lasagne.layers.ParametricRectifierLayer)。这层存在还是我遗漏了一些明显的东西？

感谢您的帮助！特里

【问题讨论】：

标签： theano deep-learning lasagne

【解决方案1】：

我认为不存在。原因是您通常在 relu 之前有一个可训练层（例如卷积或全连接），其中包含偏差。将数据移动一些偏差相当于在 relu 处设置阈值。如果 relu 之前没有可训练层，也可以显式添加 lasagne.layers.BiasLayer (http://lasagne.readthedocs.org/en/latest/modules/layers/special.html)

希望对你有帮助

迈克尔

【讨论】：

是的！谢谢你。我不清楚前一层的偏差是否等于矩形阈值。