如何为序列分类模型标记器和配置保存微调的 bert？

Question

我想在文件夹中像这样微调后保存所有训练好的模型：

config.json
added_token.json
special_tokens_map.json
tokenizer_config.json
vocab.txt
pytorch_model.bin

我只能保存 pytorch_model.bin，但我无法保存其他详细信息，如何保存模型的所有配置、标记器等？

我用过

tokenizer.save_pretrained('results/tokenizer/')

但出现错误

AttributeError: 'BertTokenizer' object has no attribute 'save_pretrained'

我通过以下代码保存了二进制模型文件

torch.save(model_to_save.state_dict(), output_model_file)

但是当我用它来保存分词器或配置文件时，我无法做到这一点，因为我不知道应该保存分词器的文件扩展名，而且我无法访问 cofig 文件， 有什么办法可以保存我模型的所有细节吗？ 提前感谢

Answer 1

我不知道您如何定义标记器以及将“标记器”变量分配给什么，但这可以解决您的问题：

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained(...)
tokenizer.save_pretrained('results/tokenizer/')

这将保存有关标记器的所有内容，并使用 your_model.save_pretrained('results/tokenizer/') 你得到：

config.json
added_token.json
special_tokens_map.json
tokenizer_config.json
vocab.txt
pytorch_model.bin

评论后更新：

如果您使用的是from pytorch_pretrained_bert import BertForSequenceClassification，则该属性不可用（您可以从code 中看到）。

你应该做的是使用transformers，它也集成了这个功能。

例子：

from transformers import BertForSequenceClassification

model = BertForSequenceClassification.from_pretrained('bert-base-uncased')
model.save_pretrained('results/tokenizer/')

另一种解决方案是使用AutoClasses。