【问题标题】:how to rescale the weight of the feature map in caffe?如何重新调整caffe中特征图的权重?
【发布时间】:2017-12-02 20:28:04
【问题描述】:

在'Inside-Outside Net: Detecting Objects in Context with Skip Pooling and Recurrent Neural Networks'的论文中

他们正在使用跳过连接概念来连接 conv3、conv4、conv5 层的 roi-pooled 特征,但在连接之前,他们建议使用 L2 NORM 并重新缩放从这些层中提取的每个特征图,这是我的问题是如何确定池化特征的重新缩放值,可以使用哪个 caffe 层来实现?

【问题讨论】:

    标签: machine-learning neural-network deep-learning caffe


    【解决方案1】:

    您可以使用现有层来计算特征图的L2 范数。有关示例,请参见 this thread
    您可以使用"Scale" 层来缩放每个特征图。

    【讨论】:

    • 他们提到“我们对池化特征进行标准化,以确保在初始化训练时下游值处于合理的规模。具体来说,从“conv3”、“conv4”和“conv5”中汇集的特征分别初始化为 57.75、81.67 和 81.67。如果我使用一个底部,则学习比例,如果我使用固定比例因子,那么我应该将其放入底部 1,而底部 0 作为输入特征?
    • 查看示例here:使用lr_mult,您可以决定caffe 是学习(并更改)比例参数还是保持不变。由你决定。 @user824624
    • 附加问题,与论文更相关,我如何知道要初始化哪个确切值,就像他们在论文中所做的那样
    • @user824624 我没有读过这篇论文。你必须自己弄清楚。但是让 caffe 学习这个比例值对我来说听起来不是一个坏主意。
    猜你喜欢
    • 2021-07-28
    • 2014-02-11
    • 2017-12-30
    • 2023-01-28
    • 2013-08-15
    • 1970-01-01
    • 2011-01-10
    • 2013-10-20
    • 1970-01-01
    相关资源
    最近更新 更多