加载 language_model_learner fastai 的问题答案

【问题标题】：Problem with loading language_model_learner fastai加载 language_model_learner fastai 的问题
【发布时间】：2020-11-17 17:39:37
【问题描述】：

我对 fastai 库有疑问。我的代码如下：

import fastai
from fastai.text import *
import os
import pandas as pd
import fastai
from fastai import *
lab = df.columns[0]

data_lm = TextLMDataBunch.from_csv(r'/AWD', 'data.csv', label_cols = lab, text_cols = ['text'])

data_clas = TextClasDataBunch.from_csv(r'/AWD', 'data.csv', vocab = data_lm.train_ds.vocab, bs = 256,label_cols = lab, text_cols=['text'])
data_lm.save('data_lm_export.pkl')
data_clas.save('data_clas.pkl')

learn = language_model_learner(data_lm,AWD_LSTM,drop_mult = 0.3)

learn.lr_find()
learn.recorder.plot(skip_end=10)

learn.fit_one_cycle(10,1e-2,moms=(0.8,0.7))

learn.save('fit_head')
learn.load('fit_head')

我的数据很大，所以 fit_one_cycle 中的每个 epoch 持续大约 6 小时。我的资源使我只能在 SLURM JOB 70h 中训练模型，因此我的整个脚本将被取消。我想把我的脚本分成几部分，第一个最长的部分必须学习和保存 fit_head。一切正常，之后我想加载我的模型再次训练它，但我收到了这个错误：

**RuntimeError: 为 SequentialRNN 加载 state_dict 时出错： 0.encoder.weight 的大小不匹配：从检查点复制形状为 torch.Size([54376, 400]) 的参数，当前模型中的形状为 torch.Size([54720, 400])。 **

我在 github/stack 帖子上检查了类似的问题，并尝试了以下类似的解决方案，但我找不到任何有用的东西。

data_clas.vocab.stoi = data_lm.vocab.stoi
data_clas.vocab.itos = data_lm.vocab.itos

是否有可能加载经过训练的模型而不会出现此问题？

【问题讨论】：

标签： python fast-ai

【解决方案1】：

当您执行learner.save() 时，只有模型权重会保存在您的磁盘上，而不是包含模型架构信息的模型状态字典。

要在不同的会话中训练模型，您必须首先定义模型本身。请记住使用相同的代码来定义您的新模型。由于您提到的数据非常繁重，您可以使用非常小的数据子集（约 16 条记录）来创建这个新模型，然后执行learn.load(model_path)，您应该能够恢复训练。

您可以使用learn.data.train_dl = new_dl修改训练数据

【讨论】：