Caffe中训练的Fine-Tuning和Resuming有什么区别？答案

【问题标题】：What is the difference between Fine-Tuning and Resuming of training in Caffe?Caffe中训练的Fine-Tuning和Resuming有什么区别？
【发布时间】：2018-10-01 17:30:47
【问题描述】：

我一直在训练我的网络进行 100,000 次迭代。之后我想继续训练。但基本上有两种选择，我不明白它们之间的区别：

第一：

$SOLVER=...
$WEIGHTS=...
$LOGGGING=...

caffe train -solver $SOLVER -weights $WEIGHTS 2>&1 | tee $LOGGING

第二个：

$SOLVER=...
$SNAPSHOT=...
$LOGGGING=...

caffe train -solver $SOLVER -snapshot $SNAPSHOT 2>&1 | tee $LOGGING

第一种方法和第二种方法有很大区别吗？我一直在使用第一种方法，称为微调。但是我并没有真正理解第一个和第二个之间的区别。

【问题讨论】：

标签： deep-learning caffe

【解决方案1】：

微调：通常在训练的不同数据集模型上完成。训练参数可能不同。权重在没有任何求解器状态的情况下保存。

Resuming : 使用的可能原因，因为程序由于某种原因停止。 Snapshot包括权重和solverstate，Solverstate有LR、max_iter等训练参数的信息。当您恢复（快照）时，求解器会恢复之前的状态并继续训练。

如果训练参数相同，则两者相同。通常，我们会更改学习率、动量和 max_iterations 以进行微调。

我希望这会有所帮助。

【讨论】：

是的，所以如果我不改hyper parameters微调基本和恢复网络一样？但我可以例如更改max_iterations 参数，这将使我能够“扩展”我的训练？
是的，如果 hyper_params 没有改变，两者都是一样的。我不确定第二个问题 - 我不认为当你恢复时，你可以更改任何参数，包括 max_iterations。不过必须验证它。
不不，我的意思是当我使用-weights $WEIGHTS´ then I can easily increase max_iterations`进行微调时。
是的..你可以做到的！