huggingface pytorch-transformers：如何用某些值初始化嵌入？

Question

我正在微调来自 huggingface 的 bert 模型。有没有办法手动设置某个词片的初始嵌入？例如使单词“dog”的初始嵌入等于torch.ones(768)。谢谢！

Answer 1

您可以设置 BertModel 的输入嵌入：get_input_embeddings()

您需要从词汇表中知道词片索引，并可以更改嵌入矩阵中的相应行。