使用 HuggingFace 在训练前任务上微调 mBART

【问题标题】：Finetune mBART on pre-train tasks using HuggingFace使用 HuggingFace 在训练前任务上微调 mBART
【发布时间】：2021-11-16 15:19:01
【问题描述】：

我想使用预训练任务对我的数据进行微调 facebook/mbart-large-cc25，尤其是掩蔽语言建模 (MLM)。

如何在 HuggingFace 中做到这一点？

编辑：为了清楚起见重写了问题

【问题讨论】：

我认为在大多数情况下，您可以简单地遵循现有的问答脚本（例如，these ones）并替换为 MBart。如果您确实需要具体帮助，请确保您的帖子仅包含一个问题，以确保答案一致。
为了清楚起见，我重写了这个问题。

【解决方案1】：

由于您在 HuggingFace 中执行所有操作，因此在预训练任务上微调模型（假设 Huggingface 中提供了预训练任务）对于大多数模型来说几乎相同。您有兴趣在哪些任务上微调 mBART？

Hugginface 为多项微调任务提供了大量文档。例如，下面提供的链接将帮助您微调用于语言建模、MNLI、SQuAD 等的 HF 模型。https://huggingface.co/transformers/v2.0.0/examples.html 和 https://huggingface.co/transformers/training.html

【讨论】：

请注意，示例链接已经非常过时了。请参考这个（最新版本）：huggingface.co/transformers/master/examples.html
我想用HF做传销，但是没找到教程
这个链接应该会有所帮助：github.com/huggingface/transformers/tree/master/examples/… 脚本 run_mlm.py 可用于微调您的 HF 模型。
根据第 19 行的评论 github.com/huggingface/transformers/blob/… 不支持 mBART