Spacy 2.0 NER 培训答案

【问题标题】：Spacy 2.0 NER TrainingSpacy 2.0 NER 培训
【发布时间】：2017-11-10 09:35:50
【问题描述】：

在 SpacyV1 中，可以通过提供 BILOU 格式的文档和实体注释列表来训练 NER 模型。

然而，在 V2 中，似乎只有通过提供这样的实体注释（7、13、'LOC'）才有可能进行训练，因此使用实体偏移和实体标签。

以 BILOU 格式提供令牌列表和另一个实体标签列表的旧方法是否仍然有效？

根据我从文档中收集到的信息，看起来 nlp.update 方法接受 GoldParse 对象列表，因此我可以为每个文档创建一个 GoldParse 对象并将 BILOU 标记传递给它的实体属性。但是，我会通过忽略 GoldParse 类的其他属性（例如头部或标签https://spacy.io/api/goldparse）来丢失重要信息，还是训练 NER 不需要其他属性？

谢谢！

【问题讨论】：

标签： nlp training-data named-entity-recognition spacy

【解决方案1】：

是的，您仍然可以使用 BILUO 标记创建 GoldParse 对象。使用示例显示“更简单”的偏移格式的主要原因是它使它们更易于阅读和理解。

如果您只想训练 NER，现在还可以使用 nlp.disable_pipes() context manager 并在训练期间禁用所有其他管道组件（例如 'tagger' 和 'parser'）。块之后，组件将被恢复，因此当您保存模型时，它将包括整个管道。您可以在NER training examples 中看到这一点。

【讨论】：

有没有例子展示如何使用带有BILUO标签的训练数据？

【解决方案2】：

如何使用 GoldParse 对象进行训练？试了好久没搞清楚。

【讨论】：

已经可以了！我正在添加带有 BILOU 标签（U、O、I、B、L）的标签，它们必须没有它。