如何从 caffe 中的平均前向传递时间估计推理时间？

Question

我使用这个命令在 caffe 中对我的 ConvNet 进行基准测试：

./build/tools/caffe time -model models/own_xx/deploy.prototxt -weights examples/RSR_50k_all_1k_db/snapshot_iter_10000.caffemodel -gpu=0

它运行良好并生成以以下结尾的输出：

I0426 16:08:19.345427 15441 caffe.cpp:377] Average Forward pass: 13.5549 ms.
I0426 16:08:19.345484 15441 caffe.cpp:379] Average Backward pass: 10.7661 ms.
I0426 16:08:19.345527 15441 caffe.cpp:381] Average Forward-Backward: 25.2922 ms.
I0426 16:08:19.345579 15441 caffe.cpp:383] Total Time: 1264.61 ms.
I0426 16:08:19.345628 15441 caffe.cpp:384] *** Benchmark ends ***

在一些教程中，我看到这个家伙以某种方式简单地从平均前向传递中推断出分类时间。但是，我找不到任何解释如何做到这一点的公式或材料。这两个实体之间实际上存在某种联系吗？还有哪些其他因素涉及迭代次数和批量大小？我的目标是准确预测我的 ConvNet 在 GPU 上的分类时间。

更新：为了不显得完全无知，我将在这里补充一点，我有一个基本概念，即前向传递是输入生成相对输出所花费的时间，因此它也可以称为推理时间。但是，我感兴趣的是知道这是否是真的，而不管批量大小和迭代如何？我尝试过，但在基准测试期间，caffe 不提供任何“批处理”选项。

Answer 1

平均前向传递时间是将一批输入从输入（“数据”）层传播到输出层所需的时间。 models/own_xx/deploy.prototxt 文件中指定的批量大小将决定每批处理的图像数量。

例如，如果我运行 Caffe 自带的默认命令：

build/tools/caffe time --model=models/bvlc_alexnet/deploy.prototxt --gpu=0

我得到以下输出

...
I0426 13:07:32.701490 30417 layer_factory.hpp:77] Creating layer data
I0426 13:07:32.701513 30417 net.cpp:91] Creating Layer data
I0426 13:07:32.701529 30417 net.cpp:399] data -> data
I0426 13:07:32.709048 30417 net.cpp:141] Setting up data
I0426 13:07:32.709079 30417 net.cpp:148] Top shape: 10 3 227 227 (1545870)
I0426 13:07:32.709084 30417 net.cpp:156] Memory required for data: 6183480
...
I0426 13:07:34.390281 30417 caffe.cpp:377] Average Forward pass: 16.7818 ms.
I0426 13:07:34.390290 30417 caffe.cpp:379] Average Backward pass: 12.923 ms.
I0426 13:07:34.390296 30417 caffe.cpp:381] Average Forward-Backward: 29.7969 ms.

下面一行：

I0426 13:07:32.709079 30417 net.cpp:148] Top shape: 10 3 227 227 (1545870)

非常重要。它说你的输入层是 10x3x227x227 维的。在这种情况下，批量大小为 10 张图像，每张图像大小为 3x227x227（3 表示图像中的每个 rgb 通道）。

如此有效，每张图像执行前向传递或推理时间需要 1.67818 毫秒/图像。

更改批量大小

如果您想更改批量大小，请查看您的 .prototxt 文件。这 Caffe 自带的models/bvlc_alexnet/deploy.prototxt 文件如下：

name: "AlexNet"
layer {
  name: "data"
  type: "Input"
  top: "data"
  input_param { shape: { dim: 10 dim: 3 dim: 227 dim: 227 } }
}
layer { ...

只需将 dim: 10 更改为其他值（例如“100”以指定每次前向传递的批量大小为 100 个图像）。