据我了解，所有 CNN 都非常相似。它们都有一个卷积层，然后是池化层和 relu 层。有些具有专门的层，例如 FlowNet 和 Segnet。我的疑问是我们应该如何决定使用多少层以及我们如何为网络中的每一层设置内核大小。我已经搜索了这个问题的答案，但我找不到具体的答案。网络是使用试错法设计的，还是一些我不知道的特定规则？如果您能澄清这一点，我将非常感谢您。
【问题讨论】：
标签： neural-network deep-learning caffe convolution conv-neural-network
简短回答：如果有设计规则，我们还没有发现。
请注意，计算中有类似的问题。例如，请注意只有少数基本的电子逻辑单元，即驱动制造技术的门。所有计算设备都使用相同的布尔逻辑；有些有专门的附加功能，例如光电输入或机械输出。
您如何决定如何设计您的计算设备？
设计取决于 CNN 的用途。输入特性、准确性、训练速度、评分速度、适应度、计算资源……所有这些都会影响设计。即使对于给定的问题，也没有通用的解决方案（目前）。
例如，考虑 ImageNet 分类问题。请注意迄今为止获胜者和竞争者之间的结构差异：AlexNet、GoogleNet、ResNet、VGG 等。如果您更改输入（例如，更改为 MNIST），那么这些都是矫枉过正的。如果你改变范式，它们可能毫无用处。 GoogleNet 可能是图像处理的王子，但将法语口语翻译成书面英语是可怕的。如果您想在视频屏幕上实时跟踪冰球，请完全忘记这些实现。
到目前为止，我们都是以经验的方式来做这件事的：很多人尝试了很多不同的事情来看看什么是有效的。我们感觉什么会提高准确性，或训练时间，或任何我们想要调整的因素。我们发现什么在总 CPU 时间上效果很好，或者我们可以并行做什么。我们改变算法以利用长度为 2 的向量数学。我们稍微改变问题，看看学习如何适应其他地方。我们改变领域（例如，将图像处理改为书面文本），然后重新开始——但一旦我们开始考虑某些类型的层，就会模糊地意识到什么可能会调整特定的瓶颈。
请记住，CNN 真正流行的时间并不长，仅仅 6 年。在大多数情况下，我们仍在努力了解重要的问题可能是什么。欢迎加入研究团队。
【讨论】：