【问题标题】:What is the difference between these two ways of saving keras machine learning model weights?这两种保存keras机器学习模型权重的方式有什么区别?
【发布时间】:2019-01-26 03:05:53
【问题描述】:

我看到了两种保存 keras 模型权重的方法。

第一种方式;

checkpointer = ModelCheckpoint(filepath="weights.hdf5", verbose=1, save_best_only=True)
model.fit(x_train, y_train,
                    nb_epoch=number_of_epoch,
                    batch_size=128,
                    verbose=1,
                    validation_data=(x_test, y_test),
                    callbacks=[reduce_lr, checkpointer],
                    shuffle=True)

第二种方式;

model.save_weights("model_weights.h5")

这两种方式有什么区别?加载weights.hdf5model_weights.h5 之间的预测性能有何差异?

【问题讨论】:

  • 你告诉我们——它有影响吗?
  • @erip,我刚刚发现第一种方法总是保存最好的权重。不保证第二种方法。

标签: python machine-learning neural-network keras


【解决方案1】:

不,在性能方面没有区别。这些只是保存模型的两种不同方式,尤其是何时保存模型。使用model.save_weights 需要在您想要保存模型时特别调用此函数,例如在培训或部分培训完成后。如果您仍在开发模型,使用ModelCheckpoint 会方便得多。使用这种方式,keras 可以在每个训练 epoch 后保存一个模型的检查点,以便您恢复不同的模型;或者您可以设置save_best_only=True,以便keras 仅在性能提高时才会覆盖最新的检查点,从而以性能最佳的模型结束。

总结一下:这只是做两件不同事情的两种不同方式。这取决于您的用例和需求,什么是最好的。

【讨论】:

  • 感谢您的回答。赞成。我认为有一个关键的区别。使用ModelCheckpointsave_best_only=True,可以保证保存最佳权重。不保证其他方法。所以,save_best_only=True 总是更好。我想不出任何其他理由不一直使用它。
  • @FlashTek,你能告诉我们hdf5和h5的区别吗?两者都在用重量保存模型,对吗?谢谢
  • @FloridaMan 是一样的。只是文件扩展名不同,否则文件将相同。 *.h5*.hdf5 是同义的文件扩展名。
【解决方案2】:

HDF5 (.h5, .hdf5)

正如这里reference.wolfram.com/language/ref/format/HDF5.html的基本解释

HDF 是分层数据格式的首字母缩写词。 HDF5 是 HDF 第 5 版。

Import["file.h5"] 

导入一个 HDF5 文件,返回 存储在文件中的数据集的名称。

在 Keras 文档中;正如你在这里看到的keras.io/api/models/model_saving_apis/

model.save('my_model.h5')  # creates a HDF5 file 'my_model.h5'

在 TensorFlow 文档中;正如你在这里看到的tensorflow.org/tutorials/keras/save_and_load

# Save the entire model to a HDF5 file.
# The '.h5' extension indicates that the model should be saved to HDF5.
model.save('my_model.h5')

在基本层面上,它们是相同的。他们无法创造任何差异。

【讨论】:

    猜你喜欢
    • 2020-04-28
    • 2023-03-24
    • 2021-04-10
    • 2011-05-11
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2014-10-27
    相关资源
    最近更新 更多