如何为 huggingface bert base uncased 临床 NER 创建训练管道答案

【问题标题】：How to create a training pipeline for huggingface bert base uncased clinical NER如何为 huggingface bert base uncased 临床 NER 创建训练管道
【发布时间】：2022-01-25 06:05:43
【问题描述】：

当前的 BERT 基础无病例临床 NER 预测临床实体（问题、测试、治疗）

我想在不同的临床数据集上进行训练以获得像（疾病、医学、问题）这样的实体

如何做到这一点？？

【问题讨论】：

标签： huggingface-transformers bert-language-model named-entity-recognition

【解决方案1】：

型号

Huggingface 中有几个模型是针对医学特定文章进行训练的，它们的性能肯定会比正常bert-base-uncased 更好。 BioELECTRA 就是其中之一，它在多项基准测试中成功超越了现有的生物医学 NLP 模型。

这些模型有 3 个不同版本，具体取决于它们的预训练数据集。但我认为这两个将是最好的开始。

Bioelectra-base-discriminator-pubmed：在pubmed上预训练

Bioelectra-base-discriminator-pubmed-pmc：在pubmed 和pmc 上进行预训练

NER 数据集：

现在来到 NER 数据集，您可能会喜欢几个数据集，或者您可能想要创建一个复合数据集。其中一些是 - BC5-disease、NCBI-disease、BC5CDR-disease from BLUE benchmark

[如果您在创建模型或设置微调设置方面需要任何帮助，请告诉我。也请使用适当的指标来评估它们，并在完成后分享指标仪表板。]

【讨论】：