【问题标题】：Is it possible to use pretrained model after adding elementwise layers?添加元素层后是否可以使用预训练模型？
【发布时间】：2018-05-05 00:33:18
【问题描述】：
我正在使用一个预训练模型，我想添加Elementwise 层，该层产生两层的输出：一层是卷积层1x1x256x256 的输出，另一层也是卷积层@987654323 的输出@。我的问题是：如果我们添加元素层来将两层相乘并发送到下一层，我们应该从头开始训练，因为架构已经修改，还是仍然可以使用pretrained 模型？
谢谢
【问题讨论】：
标签：
deep-learning
caffe
pycaffe
matcaffe
【解决方案1】：
确实进行架构更改会使学习到的功能发生冲突。
但是，没有理由不对变化以下的层使用学习到的权重——这些层不受变化的影响，因此它们可以从初始化中受益。
至于其余的层，我认为训练权重的 init 应该不会比随机差，那么为什么不呢？
不要忘记使用随机权重初始化任何新层（caffe 中的默认值为零 - 这可能会给学习带来麻烦）。