【问题标题】:Why use ReLu in the final layer of Neural Network?为什么在神经网络的最后一层使用 ReLu?
【发布时间】:2018-08-14 20:34:35
【问题描述】:

建议我们在学习回归时在神经网络的最后一层使用 ReLu。 这对我来说很有意义,因为 ReLu 的输出并不局限于 0 和 1 之间。

但是,当 x

我相信,我在这里缺少一个基本的数学概念。任何帮助表示赞赏。

【问题讨论】:

    标签: relu


    【解决方案1】:

    您通常使用:

    • 用于回归的线性层以获得连续值
    • Softmax 用于您需要类概率分布的分类

    但这些并不是一成不变的。如果您知道回归的输出值应该只是正数,为什么不使用 ReLu?如果您的分类输出不是概率分布(例如,存在哪些类),您可以轻松地使用 sigmoid。

    【讨论】: