深度学习模型输入大小的最大大小是多少

Question

我有一个数据要使用全连接深度神经网络 FC-DNN 进行训练和测试；我应该训练的输入数据的大小几乎是 3000，第一个隐藏层应该达到 4096，第三层 4096，最后输出层应该是 3000。

我的问题是深度神经网络的规模是否合理且可以接受？深度神经网络的最大合理尺寸是多少？

Answer 1

没有最大合理尺寸（每层神经元和层数都没有）。在特定点之后（这实际上取决于您尝试解决的问题），当应用多个 Dense 层时，您的收益会递减。事实上，它会导致过度拟合，应该避免这种情况。同时，在没有残差连接的情况下，堆叠多个Dense层（使网络超深）也可能导致梯度消失问题。

您应该手动尝试添加几层，并且只有当您发现您的网络表现不佳（准确度低/问题中的其他指标表明拟合不足）时，您才应该添加更多层。

另外，对于最后一层，我认为您的问题不需要 3000 个神经元。如果是回归，一个具有线性激活的神经元就足够了。只有当你有 3000 个不同的类别时才需要 3000 个神经元（这里我们只讨论回归和分类）。