LeakyReLU 中的“负”斜率在哪里？答案

【问题标题】：Where is the "negative" slope in a LeakyReLU?LeakyReLU 中的“负”斜率在哪里？
【发布时间】：2021-10-22 07:21:11
【问题描述】：

LeakyReLU 函数中的负斜率指的是什么？

TensorFlow 和 Pytorch 的文档中都使用了“负斜率”一词，但它似乎并不指向现实。
LeakyReLU 函数对于正输入和负输入的斜率通常为非负数。

Pytorch 和 TensorFlow 文档提供了设置负斜率的示例，它们都使用正值。 TensorFlow 明确强制执行非负值。（见下文）

他们只是错了还是我错过了什么？

CLASStorch.nn.LeakyReLU(negative_slope=0.01, inplace=False)

Args alpha Float >= 0。负斜率系数。默认为 0.3。

【问题讨论】：

我一直将其视为负面部分的斜率。您可以使用文档中更准确的术语建议对其存储库的编辑。我想他们会欢迎的。
我相信这个问题不需要答案，因为已经给出了名称背后的原因（即使negative_slope 并不完全准确）。您可以访问他们的 GitHub 存储库，看看您是否可以/想要更改它...投票结束。
问题已编辑，现在我认为没问题，重新打开它。
问题没有改变，也没有首先关闭它的原因。我不明白为什么它已重新打开。不用说，它已经收到了答案：在cmets之上和之下。还有什么要说的？

【解决方案1】：

negative_slope 在此上下文中表示 Leaky ReLU 的斜率的负一半。它不是描述必然为负的斜率。

在命名 kwargs 时，通常使用简洁的术语，这里的“负斜率”和“正斜率”是指跨越负 [-∞,0] 和正 (0,∞] 一半的线性样条的斜率Leaky ReLU 的域。

【讨论】：

@jacob，不仅在 LeakyReLU 的 kwargs 命名中使用了negative_slope 术语。它在他们的文档中使用得更多。例如，Tensorflow 在解释 alpha 的含义时也使用了类似的术语：“Args alpha Float >= 0。负斜率系数。默认为 0.3。”从来没有澄清他们的意思。