确保 BERT 模型不加载预训练的权重？答案

【问题标题】：Make sure BERT model does not load pretrained weights?确保 BERT 模型不加载预训练的权重？
【发布时间】：2021-03-12 07:45:47
【问题描述】：

我想确保我的 BertModel 不会加载预训练的权重。我正在使用自动加载模型的自动类（拥抱脸）。

我的问题是如何在没有预训练权重的情况下加载 bert 模型？

【问题讨论】：

请发布您当前用于初始化模型的代码。
@dennlinger 这就是我想要的，伙计。
我指的是您的评论I am using auto class (hugging face) which loads model automatically.，这表明您已经有一些现有的代码/尝试。似乎这个问题在此期间无论如何都得到了解决......

【解决方案1】：

使用 AutoConfig 代替 AutoModel：

from transformers import AutoConfig
config = AutoConfig.from_pretrained('bert-base-uncased')
model =  AutoModel.from_config(config)

这应该在不加载权重的情况下设置模型。

【讨论】：

【解决方案2】：

也许您可以使用预训练的权重加载模型，迭代模型参数并使用您喜欢的任何初始化技术随机设置模型参数。

【讨论】：