【发布时间】:2018-05-27 08:04:36
【问题描述】:
我之前使用 CRF++ 模型来识别电影评论数据集中的 NER。但是,我发现 spacy 在使用和可视化方面非常有效。但是,这里的问题是我如何将 CRF++ 模型合并到 spacy 中?如果这不可能,我如何使用 IOB 标记来训练 Spacy NER 模型以满足我的要求?
【问题讨论】:
标签: machine-learning nlp spacy
我之前使用 CRF++ 模型来识别电影评论数据集中的 NER。但是,我发现 spacy 在使用和可视化方面非常有效。但是,这里的问题是我如何将 CRF++ 模型合并到 spacy 中?如果这不可能,我如何使用 IOB 标记来训练 Spacy NER 模型以满足我的要求?
【问题讨论】:
标签: machine-learning nlp spacy
spaCy 模型基于定制设计的 CNN 模型,该模型最适合 here。因此,它没有内部 CRF 模型,但使用自定义管道,您可以将自定义 CRF 模型与 spaCy 一起使用,详情请查看this。
要使用 spaCy 训练 NER 模型,您的数据必须位于 BILUO format,因此您应该首先转换您的数据,然后关注 the excellent doc about it。 还有一个转换器:
python -m spacy convert [input_file] [output_dir] [--converter] [--n-sents]
[--morphology]
可用于将conll 和ion 的数据转换为spaCy 格式。
【讨论】: