AlexNet的参数个数如何计算？答案

【问题标题】：How to calculate the number of parameters of AlexNet?AlexNet的参数个数如何计算？
【发布时间】：2017-02-24 22:27:28
【问题描述】：

我还没有找到AlexNet 的参数（权重+偏差）的计算，所以我尝试计算它，但我不确定它是否正确：

conv1: (11*11)*3*96 + 96 = 34944

conv2: (5*5)*96*256 + 256 = 614656

conv3: (3*3)*256*384 + 384 = 885120

conv4: (3*3)*384*384 + 384 = 1327488

conv5: (3*3)*384*256 + 256 = 884992

fc1: (6*6)*256*4096 + 4096 = 37752832

fc2：4096*4096 + 4096 = 16781312

fc3: 4096*1000 + 1000 = 4097000

这导致总共有 62378344 个参数。这个计算对吗？

【问题讨论】：

【解决方案1】：

您的计算是正确的。在编写this blog post 时，我们独立得出了完全相同的数字。我还添加了帖子中的决赛桌

【讨论】：

【解决方案2】：

根据他们论文中的图表，一些层使用分组。因此，并非一层的所有特征都与下一层通信。这意味着例如对于 conv2，您应该只有 (5*5)*48*256 + 256 = 307,456 个特征。

我不确定是否所有较新的实现都包含分组。这是他们用来让网络在两个 GPU 上并行训练的优化，但现代 GPU 有更多的训练资源，并且无需分组就能轻松适应网络。

【讨论】：

【解决方案3】：

本演示文稿中的幻灯片 8 指出它有 60M 参数，所以我认为您至少在球场上。 http://vision.stanford.edu/teaching/cs231b_spring1415/slides/alexnet_tugce_kyunghee.pdf

【讨论】：