AllenNLP）有没有办法为评估设置配置，特别是为读者？

Question

我是 allenNLP 库的新手。 为了为dataset_reader 设置参数，我想设置用于评估的配置，例如火车 (https://github.com/allenai/allennlp-template-config-files/blob/master/training_config/my_model_trained_on_my_dataset.jsonnet)

但我不确定是否有用于评估的配置文件模板，例如火车，并且下面的配置文件有效（其中 train_data_path 和 trainer 部分被删除。）

{
    "dataset_reader" : {
        // This name needs to match the name that you used to register your dataset reader, with
        // the call to `@DatasetReader.register()`.
        "type": "classification-tsv",
        // These other parameters exactly match the constructor parameters of your dataset reader class.
        "token_indexers": {
            "tokens": {
                "type": "single_id"
            }
        }
    },
    "validation_data_path": "/path/to/your/validation/data/here.tsv",
    "model": {
        // This name needs to match the name that you used to register your model, with
        // the call to `@Model.register()`.
        "type": "simple_classifier",
        // These other parameters exactly match the constructor parameters of your model class.
        "embedder": {
            "token_embedders": {
                "tokens": {
                    "type": "embedding",
                    "embedding_dim": 10
                }
            }
        },
        "encoder": {
            "type": "bag_of_embeddings",
            "embedding_dim": 10
        }
    },
    "data_loader": {
        // See http://docs.allennlp.org/master/api/data/dataloader/ for more info on acceptable
        // parameters here.
        "batch_size": 8,
        "shuffle": true
    },
}

提前致谢。

Answer 1

@petew 的回答是正确的。 allennlp evaluate 不读取配置文件。它使用与模型一起存储的配置文件。运行allennlp evaluate -h 以获取更多信息。

如果您需要数据集读取器在评估时表现不同，请使用配置文件中的 validation_dataset_reader 字段。这将在训练期间（用于 epoch 结束时的评估）以及稍后运行 allennlp evaluate 时生效。