【发布时间】：2018-11-24 02:40:59
【问题描述】：
【问题讨论】：
标签： neural-network deep-learning caffe conv-neural-network pycaffe
【发布时间】：2018-11-24 02:40:59
【问题描述】：
假设
- 权重相同（conv16 的
in_cx16x3x3 内核被分成两个in_cx8x3x3 内核，每个内核用于conv8 层）， - 没有
"Dropout"
然后两个网络计算相同的输出。但是，我怀疑第一个选项效率更高（仅计算一次 im2col，无需复制/移动数据等...）
然而，在考虑"Dropout" 时，这两个替代方案不再等价，因为所有 16 个经过训练的过滤器的 conv16 的 dropout 模式都相同，两个 conv8 在训练期间看到 不同的 dropout 模式因此可能会学习不同的内核。
【讨论】：
-
训练时这都是真的。但是一旦网络被部署，dropout 就没有任何影响：如果部署的权重相同，那么两个替代方案的行为相同（直到一些计算开销）。