具有随机连接的神经网络还能正常工作吗？答案

【问题标题】：Can a neural network with random connections still work correctly?具有随机连接的神经网络还能正常工作吗？
【发布时间】：2015-02-10 13:36:46
【问题描述】：

假设我们有一个具有 n 层的神经网络，其中连接不只是从第 i 层到第 i+1 层，而是可以从任何第 i 层到任何第 k 层，使得 k > i。例如;从第 1 层直接连接到第 3 层，或从第 2 层直接连接到第 n 层，等等……

给定一个任意的训练函数和为每一层选择的激活函数，这样的神经网络还能正常工作吗？

【问题讨论】：

【解决方案1】：

对于（任何）NN，您得到的是链式激活函数的组合。

只要所有连接的权重都能为您提供良好的分类结果，跳过某些层也没关系。

从数学上讲，您仍然可以使用链式法则进行反向传播，我想它与逐层反向传播相比不太干净。

我看到的唯一问题是跳过太多层，您的模型可能不够复杂，无法捕捉输入和输出之间的关系，这对于 NN 通常不是问题。

【讨论】：

【解决方案2】：

我认为简短的回答是肯定的，但是，与神经网络一样，这取决于您的问题。

您在问题中描述的架构类型称为“跳过层”模型。有关跳过层连接的简要讨论，您可能需要查看以下在线资源：

总结：跳过层连接可以工作，但它们的工作效果在很大程度上取决于您的问题，以及您的网络模型的其余部分是如何构建和优化的。

【讨论】：