caffe - 如何正确训练 alexnet 只有 7 个类

Question

我有一个从 imagenet 收集的小数据集（每个类有 7 个类，有 1000 个训练数据）。我尝试使用 alexnet 模型对其进行训练。但不知何故，准确度不能再高了（最大约 68%）。我删除了 conv4 和 conv5 层以防止模型过度拟合，同时也减少了每层（conv 和 fc）中的神经元数量。这是我的设置。

是不是我做错了什么，导致准确率这么低？

Answer 1

我想整理几个名词：

(1) 感知器是神经网络中的单个细胞。

(2)在一个CNN中，我们一般关注内核（filter）为一个单元；这是形成伪视觉单元的感知器方阵。

(3) 关注单个感知器通常唯一有意义的地方是 FC 层。当您谈到移除一些感知器时，我认为您的意思是内核。

训练模型最重要的部分是确保您的模型正确拟合手头的问题。 AlexNet（和 CaffeNet，BVLC 实现）适合完整的 ImageNet 数据集。 Alex Krizhevsky 和他的同事花费了大量研究工作来调整他们的网络以解决问题。您不会通过简单地随机删除层和内核来获得类似的准确性 - 在严重减少的数据集上。

我建议您从 CONVNET（CIFAR-10 网络）开始，因为它更适合这种规模的问题。最重要的是，我强烈建议您经常使用可视化工具，这样您就可以检测到各个内核层何时开始学习它们的模式，并查看拓扑中微小变化的影响。

您需要进行一些实验来调整和了解您的拓扑。在训练期间的选定时间记录内核可视化 - 可能以预期收敛的 10% 的间隔记录 - 并在移除几个内核、删除整个层或您选择的任何其他内容时比较视觉敏锐度。

例如，我希望如果您使用当前截断的 CaffeNet 进行此操作，您会发现深度和广度的严重损失极大地改变了它正在学习的特征识别。当前构建块的深度不足以识别边缘，然后是形状，然后是全身部分。但是，我可能是错的——你确实有剩下的三层。这就是为什么我要求您发布您获得的可视化效果，以便与已发布的 AlexNet 功能进行比较。

编辑：CIFAR 可视化

CIFAR 比 ILSVRC-2012 更好地区分类别。因此，训练每层需要更少的细节和更少的层。训练速度更快，而且过滤器对人眼来说几乎没有那么有趣。这不是 Gabor（不是 Garbor）过滤器的问题；只是模型不用学习那么多细节。

例如，为了让 CONVNET 区分水貂和喷气机，我们只需要在一片白色（花）中加入一片黄色。为了让 AlexNet 从大花蕙兰中分辨出水仙花，网络需要了解花瓣的数量或形状。