如何在pylearn2的隐藏层中使用leaky ReLus作为激活函数答案

【问题标题】：How to use leaky ReLus as the activation function in hidden layers in pylearn2如何在pylearn2的隐藏层中使用leaky ReLus作为激活函数
【发布时间】：2015-06-26 16:49:27
【问题描述】：

我正在使用 pylearn2 库来设计一个 CNN。我想在一层中使用 Leaky ReLus 作为激活函数。有没有可能使用pylearn2来做到这一点？我必须为它编写一个自定义函数还是 pylearn2 有内置的函数？如果是这样，如何编写自定义代码？请问有人可以帮我吗？

【问题讨论】：

标签： machine-learning theano conv-neural-network pylearn

【解决方案1】：

ConvElemwise 超类是一个通用的卷积元素层。在其子类ConvRectifiedLinear 中，有一个使用RectifierConvNonlinearity 类的卷积整流线性层。

在apply() 方法中：

    p = linear_response * (linear_response > 0.) + self.left_slope *\
        linear_response * (linear_response < 0.)

正如this温柔评论指出的那样：

... Maxout 神经元（最近由 Goodfellow et al. 引入）泛化了 ReLU 及其泄漏版本。

例如MaxoutLocalC01B 或MaxoutConvC01B。

pylearn2-user 没有答案的原因可能是pylearn2 主要由LISA lab 的研究人员编写，因此FAQ 中的第13 点的阈值可能很高。

【讨论】：

这行得通。多谢了。是的，在互联网上很难找到有关此问题的任何信息
我也很难弄清楚 PyLearn2 的工作原理。我不得不花一些时间阅读源代码。非常有启发性。