CNN中密集层的神经元数量[关闭]

Question

我想问你一个关于 CNN 中使用的密集层中使用的神经元数量的问题。 据我所知，密集层通常使用 16,32,64,128,256,512,1024,2048 个神经元。 那么在输出层之前降序还是升序更好？

例如

model.add(Dense(2048,kernel_regularizer='l2' ,activation='relu'))
model.add(Dense(1024,kernel_regularizer='l2' ,activation='relu'))
model.add(Dense(512,kernel_regularizer='l2' ,activation='relu'))
model.add(Dense(128,kernel_regularizer='l2' ,activation='relu'))

或

model.add(Dense(128,kernel_regularizer='l2' ,activation='relu'))
model.add(Dense(512,kernel_regularizer='l2' ,activation='relu'))
model.add(Dense(1024,kernel_regularizer='l2' ,activation='relu'))
model.add(Dense(2048,kernel_regularizer='l2' ,activation='relu'))

能否也给出解释的答案？ 谢谢

Answer 1

没有降序和升序这样的规则。但大多数人跟随下降，但尽量在你的 fc 部分保留更多的神经元而不是你的最后一个分类神经元

如果你看到 VGG16 拱门，最后一层的顺序是：4096 ,4096 ,1000。所以这里 1000 是编号。 imagenet 数据集中的类。

在你的情况下，你可以遵循这个：

model.add(Dense(2048,kernel_regularizer='l2' ,activation='relu'))
model.add(Dense(1024,kernel_regularizer='l2' ,activation='relu'))
model.add(Dense(512,kernel_regularizer='l2' ,activation='relu'))
model.add(Dense(128,kernel_regularizer='l2' ,activation='relu'))
model.add(Dense(number_classes ,activation='softmax'))

Answer 2

TLDR：

你可以真正使用它们中的任何一个。但这取决于许多标准。

半长解释：

您可以使用其中任何一种，但它们会产生不同的含义。 基本上，您希望您的神经元数量随着特征图大小的减小而增加，以保持几乎相同的表示能力。当涉及到开发更抽象的功能时，情况也是如此。我将在稍后讨论。
这就是为什么您在很多论文中看到的原因，它们从网络开始时的少量数字开始，然后逐渐增加。
这背后的直觉是，早期层处理原始概念，因此拥有大量神经元在某些时候并不会真正受益，但是随着您的深入，抽象的层次结构变得越来越丰富，您希望成为能够 尽可能多地捕获信息并更好地创建新的/更高/更丰富的抽象。这就是为什么越深入越会增加神经元。

另一方面，当你到达网络的尽头时，你会想从你目前开发的所有特征中选择最好的特征，所以你开始逐渐减少神经元的数量，所以希望你最终会得到对您的特定任务很重要的最重要的功能。

不同的架构设计，具有不同的含义，并且基于对手头任务的不同直觉。您需要根据自己的需要选择最佳策略。