【问题标题】:Can we train a Keras Model in Stages?我们可以分阶段训练 Keras 模型吗?
【发布时间】:2018-03-19 00:19:20
【问题描述】:

我有一个巨大的 NumPy 维度矩阵 (1919090, 140, 37)。现在要在本地内存或服务器上的任何地方安装这么大的东西并不容易。 因此,我正在考虑将 NumPy 矩阵拆分为较小的部分,例如 (19,000, 140, 37),然后在其上训练 Keras 模型。我存储模型,然后再次加载它并继续训练下一个矩阵部分。我重复此操作,直到模型在所有 100 个左右的矩阵位上训练完毕。 有没有办法做到这一点?

【问题讨论】:

  • 在 aws 上获取服务器并通过 pycharm 专业版中的远程解释器对其进行训练

标签: python numpy tensorflow deep-learning keras


【解决方案1】:

是的,你可以,但这个概念不称为“阶段”,而是批量,它是训练神经网络的最常用方法。您只需要创建一个生成器函数,一次加载一批数据并使用model.fit_generator 开始训练它。

【讨论】:

    猜你喜欢
    • 2020-01-16
    • 1970-01-01
    • 1970-01-01
    • 2020-05-06
    • 1970-01-01
    • 2017-07-07
    • 1970-01-01
    • 2021-04-22
    • 1970-01-01
    相关资源
    最近更新 更多