用于命名实体识别的语言无关工具答案

【问题标题】：language independent tool for named entity recognition用于命名实体识别的语言无关工具
【发布时间】：2012-05-30 09:05:09
【问题描述】：

有人知道是否有任何独立于语言的命名实体识别库吗？

谢谢

【问题讨论】：

【解决方案1】：

我怀疑。

理论上，如果您拥有大量带注释的语料库，则可以使用纯监督学习技术。但是，如果您不能使用依赖于语言的规则、启发式或特征，并且您正在寻找高精度和召回率 - 语料库的大小将必须是巨大的。我敢说，对于任何给定的人类口语，可能没有足够的注释数据来完成此类任务。

【讨论】：

【解决方案2】：

我认为多语言 BERT 模型是一个很好的起点，但您仍需要在特定数据集上对其进行微调。如果您正在寻找的语言根本没有资源，您可以尝试在类似的语言上对其进行微调。要考虑的另一件事是将标签从一种语言转移到另一种语言。一种方法是使用多语言嵌入并搜索从源语言到目标语言的最近邻，然后以这种方式进行翻译。

【讨论】：