如何使用 caffe 实现 maxout？

Question

我对 Caffe 很陌生，但想在我的项目中添加一个 maxout 层。网站上有一些关于maxout的代码，比如

implement maxout with caffe
我的代码在这里：

layers {
  name: "conv1"
  type: CONVOLUTION
  bottom: "data"
  top: "conv1"
  blobs_lr: 1
  blobs_lr: 2
  weight_decay: 1
  weight_decay: 0
  convolution_param {
    num_output: 16
    kernel_size: 9
    stride: 1
  }
}
layers {
  name: "slice1"
  type: "Slice"
  bottom: "Conv1"
  top: "slice1A"
  top: "slice1B"
  top: "slice1C"
  top: "slice1D"
  slice_param{
    axis: 1
    slice_point: 4
    slice_point: 8
    slice_point: 12
  }
}
layers {
  name: "maxout1"
  type: ELTWISE
  bottom: "slice1A"
  bottom: "slice1B"
  bottom: "slice1C"
  bottom: "slice1D"
  top: "maxout1"
  eltwise_param {
    operation:MAX
  }
}

这里，我使用SLICE层将conv1层一分为四，做ELTWISE操作。会有四个输出，但我不知道 slice1A、slice1B、slice1C 和 slice1D 如何做MAX操作。 下图是我的看法。
ELTWISE diagram of this code snippet
非常感谢！

Answer 1

首先，简单来说，maxout 要做的就是将两个或多个具有完全相同维度的张量作为输入，例如，它以 2 个 10 维向量作为输入，然后在相同的位置2个向量选择最大值作为maxout的输出向量的元素，最终将产生一个10维向量。您可以将此过程视为融合过程。

然后到你代码中的ELTWISE层，这个层正是要完成上面的过程。具体来说，ELTWISE层会分别从底部的每个conv1A,conv1B中取一个元素，然后从这两个元素中选择最大值作为输出ma​​xout1的元素，并依次重复此操作，直到底部的最后一个位置。最大化操作由 "eltwise_param { 操作：MAX }” 在你的代码中。