当我有回归任务时，推荐在神经网络中使用什么激活函数？答案

【问题标题】：What activation function is recommended in a neural network when I have a regression task?当我有回归任务时，推荐在神经网络中使用什么激活函数？
【发布时间】：2017-12-02 03:20:30
【问题描述】：

我想根据几个项目数据估算一个项目预算，并且我也有相同数据结构中的历史数据。我想用神经网络来做，但是我不确定我应该使用什么类型的激活函数。我将有一个输出神经元，它应该告诉我对于给定的输入我应该期望多少预算。

【问题讨论】：

ReLU 通常是安全的选择。
Leaky ReLU 也是一个有趣的替代方案。当你进入 ReLU 的零状态时，你就被困在那里。这有时可能是不受欢迎的行为。 Leaky ReLU 没有这个问题。

标签： machine-learning neural-network deep-learning artificial-intelligence

【解决方案1】：

根据我的经验，当您的输出不应该遵循某种概率分布时，您会希望远离 sigmoidal 激活函数。在这些情况下，在处理回归时，我通常会使用某种线性单位。

因此，正如 erip 建议的那样，您可以尝试 ReLU。更一般地说，有一些线性单元可供选择（更详细地讨论here），包括 PReLU 和 ELU。我能给出的最好建议是训练几次，尝试不同的线性单元并改变它们的参数，看看哪种方法最适合你的模型。

【讨论】：