什么时候应该使用线性神经网络，什么时候应该使用非线性？答案

【问题标题】：When should I use linear neural networks and when non-linear?什么时候应该使用线性神经网络，什么时候应该使用非线性？
【发布时间】：2016-07-28 14:48:14
【问题描述】：

我正在使用前馈、梯度下降反向传播神经网络。

目前我只使用 tanh 是激活函数的非线性网络。

我想知道。你会给一个具有非线性激活函数的神经网络什么样的任务，什么样的任务是线性的？

我知道具有线性激活函数的网络用于解决线性问题。这些线性问题是什么？有什么例子吗？

谢谢！

【问题讨论】：

【解决方案1】：

我会说永远不会，因为线性函数的组合仍然是线性的，使用具有线性激活的神经网络只是使线性回归复杂化的一种方法。

选择线性模型还是更复杂的模型取决于您，取决于您拥有的数据；这就是为什么习惯上在训练期间保留一些数据并使用它来验证模型的（原因之一）。其他检验模型的方法还有残差分析、假设检验等

【讨论】：

我正在使用神经网络进行模式识别。问题是有一个模式，然后有迹象表明可能会产生模式，例如一个输入是工作日（星期一等），另一个输入是一年一个月（一月等......），然后有数据本身的 9 个输入，其中可能隐藏了模式，然后输出告诉我训练神经网络进行识别的特定模式的概率是多少。
因为你想要一个概率，至少在输出层使用 sigmoid 激活（应该只有一个神经元）。如果模式与时间相关，您可能应该切换到 LSTM 网络，或者至少提供多个“快照”（现在和过去几个月）作为前馈网络的输入