不连续标记的 NER 标记模式

Question

NER 最常见的标记过程是 IOB。但似乎这种标记仅限于来自同一实体的标记连续的情况。

例如，

Jane Smith is walking in the park 将被标记为：B-PER I-PER O O O O O

这里我的 PER 实体是 [Jane, Smith] 的串联

如果我们调整示例：

Jane and James Smith are walking in the park

B-PER O B-PER I-PER O O O O O

现在的问题是我们将获得的实体是 [Jane] 和 [James, Smith]，因为 IOB 标记不允许将 Jane 链接到 Smith。

是否有任何标记架构允许将[Jane, Smith] 和[James, Smith] 标记为实体？

Answer 1

首先，关于在没有新数据格式的情况下执行此操作：

有一篇关于使用TextAE 执行此操作的论文和回购：

paper

repo

然而，看看他们和你的例子，你似乎可以通过使用依赖解析来改进what they did。如果您查看“Jane 和 James Smith 正在公园散步”的 the dependency parse，您可以看到 spaCy 理解 Jane 与 Smith 是连体的。因此，在运行实体提取后，您可以执行依赖项解析步骤，然后根据该步骤编辑您的实体。

现在，回答真正的问题。我已经看到了以以下方式工作的多维标签（假设每个句子最多有十个实体：

empty = [0,0,0,0,0,0,0,0,0]

tokens = ["Jane", "and", "James", "Smith", "are", "walking", "in", "the", "park"]
labels = [
    [1, 0, 0, 1, 0, 0, 0, 0, 0],
    [0, 0, 1, 1, 0, 0, 0, 0, 0],
]
labels = labels + [empty] * (10-len(labels))

如果您有多个实体类型，则可以使用这些实体类型，而不仅仅是 1。

无论如何，这种格式更适用于 BERT，因为当您必须将令牌拆分为 BPE 时，BIO 格式会很痛苦。