微调 GPT2 以生成问答

Question

我正在尝试为生成式问答任务微调 gpt2。

基本上我的数据格式类似于：

背景：马特今天撞坏了他的车。 问题：马特今天过得怎么样？ 答案：不好

我正在查看 huggingface 文档以了解如何在自定义数据集上微调 GPT2，并且我确实在这个地址找到了微调说明： https://github.com/huggingface/transformers/tree/main/examples/pytorch/language-modeling

问题是他们没有提供任何关于如何准备数据以便模型可以从中学习的指导。他们提供了可用的不同数据集，但没有一种格式适合我的任务。

如果有更多经验的人可以帮助我，我将不胜感激。

祝你今天过得愉快！

Answer 1

你知道怎么做吗？我在寻找类似的东西，但我仍然不知道如何在包含 2 列的数据集中训练 GPT-2 {问题，答案}