在 Caffe 框架中修改 ReLU 中的阈值

Question

我是 Caffe 的新手，现在我需要修改卷积神经网络中 ReLU 层的阈值。我现在用来修改阈值的方法是编辑caffe/src/caffe/layers/relu_layer.cpp中的C++源代码，然后重新编译。但是，这会在每次调用 ReLU 时将阈值更改为指定值。有没有办法在网络中的每个 ReLU 层中使用不同的值作为阈值？顺便说一句，我正在使用pycaffe接口，我找不到这样的方法。

最后，对不起我的英语不好，如果有不清楚的地方，请告诉我，我会尽量详细描述。

Answer 1

如果我理解正确，您的“ReLU with threshold”基本上是

f(x) = x-threshold if x>threshold, 0 otherwise

您可以通过添加一个"Bias" 层来轻松实现它，该层在常规"ReLU" 层之前从输入中减去threshold

Answer 2

是的，你可以。在src/caffe/proto，添加一行：

message ReLUParameter {
  ...
  optional float threshold = 3 [default = 0]; #add this line
  ... 
}

在src/caffe/layers/relu_layer.cpp 中，进行一些小的修改：

template <typename Dtype>
void ReLULayer<Dtype>::Forward_cpu(const vector<Blob<Dtype>*>& bottom,
    const vector<Blob<Dtype>*>& top) {
  ...
  Dtype threshold = this->layer_param_.relu_param().threshold(); //add this line
  for (int i = 0; i < count; ++i) {
    top_data[i] = (bottom_data[i] > threshold) ? (bottom_data[i] - threshold) : 
                  (negative_slope * (bottom_data[i] - threshold));
  }
}

template <typename Dtype>
void ReLULayer<Dtype>::Backward_cpu(const vector<Blob<Dtype>*>& top,
    const vector<bool>& propagate_down,
    const vector<Blob<Dtype>*>& bottom) {
  if (propagate_down[0]) {
    ...
    Dtype threshold = this->layer_param_.relu_param().threshold(); //this line
    for (int i = 0; i < count; ++i) {
      bottom_diff[i] = top_diff[i] * ((bottom_data[i] > threshold)
          + negative_slope * (bottom_data[i] <= threshold));
    }
  }
}

同样在src/caffe/layers/relu_layer.cu 中，代码应该类似于this。

编译你的caffe和pycaffe之后，在你的net.prototxt中，你可以写一个relu层像：

layer {
  name: "threshold_relu"
  type: "ReLU"
  relu_param: {threshold: 1 #e.g. you want this relu layer to have a threshold 1}
  bottom: "input"
  top: "output"
}