针对不同语言的特定域微调 BERT？

Question

我想对预训练的 BERT 模型进行微调。 但是，我的任务使用特定域内的数据（比如生物医学数据）。 此外，我的数据也使用不同于英语的语言（比如荷兰语）。

现在我可以微调 Dutch bert-base-dutch-cased 预训练模型。 但是，我将如何对 BioBERT 等生物医学 BERT 模型进行微调， 哪个域正确，但语言错误？

我曾考虑过使用 NMT，但认为它不可行且不值得付出努力。 如果我在不改变模型的情况下进行微调，我担心模型无法很好地学习任务 因为它是用完全不同的语言进行预训练的。

Answer 1

我只是想知道是否有任何方法可以微调在特定域上训练的预训练 BERT 模型，并将其用于同一域中的数据，但使用不同的语言

可能不会。 BERT 的词汇在预训练开始时是固定的，并添加了额外的词汇leads to random weight initializations。

相反，我会：

1. 如 @Ashwin 所说，寻找多语言、特定领域的 BERT 版本。
2. 根据您的任务微调荷兰语 BERT，看看性能是否可以接受。总的来说，BERT 可以很好地适应不同的任务。
3. （如果您有可用资源）继续在您的特定域（例如，SciBERT）上预训练荷兰语 BERT，然后微调您的任务。