如何使用 deeppavlov 构建基于自定义上下文的问答模型 SQuAD答案

【问题标题】：How can I build a custom context based Question answering model SQuAD using deeppavlov如何使用 deeppavlov 构建基于自定义上下文的问答模型 SQuAD
【发布时间】：2021-11-11 12:49:39
【问题描述】：

我有以下疑问

数据集格式（即如何拆分训练、测试和有效数据）
数据集的放置位置
如何更改数据集读取器的路径
如何将模型保存在我自己的目录中
以及如何使用训练好的模型

编辑

my_config['dataset_reader']['data_path'] = '/home/ec2-user/SageMaker/squad/data/'  
my_config['metadata']['variables']['MODELS_PATH'] = '/home/ec2-user/SageMaker/squad/model/'

我使用此命令更改配置文件中的数据集路径和模型路径。我的模型保存在此位置，但它在训练期间没有使用我的数据集，而是在该文件夹中下载自己的数据集并使用它。

【问题讨论】：

标签： bert-language-model question-answering deeppavlov squad

【解决方案1】：

数据集示例为https://github.com/deepmipt/DeepPavlov/blob/f5117cd9ad1e64f6c2d970ecaa42fc09ccb23144/deeppavlov/dataset_readers/squad_dataset_reader.py#L46 您的数据集应该具有相同的格式。

2-3。数据集应放在文件夹https://github.com/deepmipt/DeepPavlov/blob/f5117cd9ad1e64f6c2d970ecaa42fc09ccb23144/deeppavlov/configs/squad/squad_torch_bert.json#L4 （您可以更改文件夹名称）

模型保存在目录https://github.com/deepmipt/DeepPavlov/blob/f5117cd9ad1e64f6c2d970ecaa42fc09ccb23144/deeppavlov/configs/squad/squad_torch_bert.json#L166 （这里可以自己写目录）
训练好的模型可以用命令：python3 -m deeppavlov interact 更详细的模型启动教程在这里https://github.com/deepmipt/DeepPavlov

【讨论】：

``` my_config['dataset_reader']['data_path'] = '/home/ec2-user/SageMaker/squad/data/' my_config['metadata']['variables'][ 'MODELS_PATH'] = '/home/ec2-user/SageMaker/squad/model/' ``` 我使用此命令更改了配置文件中的数据集路径和模型路径。我的模型保存在此位置，但它在训练期间没有使用我的数据集，而是在该文件夹中下载自己的数据集并使用它。你知道如何更改路径以便它使用我的自定义数据集吗？