【问题标题】:Resume training in Caffe from the previous training point从上一个训练点恢复在 Caffe 中的训练
【发布时间】:2017-08-13 07:44:16
【问题描述】:

我的家乡面临严重的停电,我不得不多次重新开始训练,有什么建议可以从上一个迭代点恢复训练吗? 我正在使用 caffe 和 lmdb 文件。 提前致谢

【问题讨论】:

    标签: caffe


    【解决方案1】:

    Caffe 可以每隔一段时间保存一个“快照”。您可以通过以下方式从上次快照恢复训练:

    $CAFFE_ROOT/build/tools/caffe train -model /path/to/solver.prototxt -snapshot /path/to/latest.solverstate
    

    在您的solver.prototxt 中,您可以通过设置定义拍摄快照的频率

    snapshot: 2500  # take a snapshot every 2500 iterations
    

    快照文件保存到定义的相同位置

    snapshot_prefix: "/path/to/snaps"
    

    在那里,您可以找到为每 2500 次迭代保存的 .solverstate.caffemodel

    【讨论】:

    • 感谢您的时间 Shai,但我似乎找不到 .snapshot 文件,但我确实有求解器状态和 caffemodel 文件。
    • @Ryan 我的错。它是“.solverstate”而不是“.snapshot”。请看我的编辑。
    • 我得到-`无法从层'conv10'复制参数0权重;形状不匹配。源参数形状为 7 512 1 1 (3584);目标参数形状为 6 512 1 1 (3072)。要从头开始学习该层的参数,而不是从保存的网络中复制,请重命名该层。`
    • 我应该重命名哪一层?
    • 我将批量大小从 16 更改为 8 - 工作正常,感谢您的帮助
    最近更新 更多