spaCy SPECIAL-1 令牌覆盖后缀规则导致注释错位答案

【问题标题】：spaCy SPECIAL-1 token overriding suffix rule causing annotation misalignmentspaCy SPECIAL-1 令牌覆盖后缀规则导致注释错位
【发布时间】：2020-04-14 14:26:08
【问题描述】：

我的文字是这样的

'Laboratories, Inc.'

像这样被标记化

Laboratories     TOKEN
,    SUFFIX
Inc.     SPECIAL-1

但是注解通常不包括后缀字符，如'.'

所以我尝试添加一个后缀规则来标记“。”

(r'[.]+$',)

但它不适用于像 'Inc.' 这样的字符串。或“圣”标记为 SPECIAL-1 问题在于，这样的标记化问题会导致大量注释由于这些错位问题而被忽略，从而显着减少了训练期间有价值的示例。

欢迎提出任何建议。

【问题讨论】：

@smci 但方括号代表一个字符类，因此点被视为这样，正则表达式读取“字符串末尾的一个或多个句点字符”，我很确定那是它的作用，你可以在这里自己测试regex101.com
erotavlas：对不起，你是对的。在字符类/方括号内，[.] 并不神奇。（碰巧我最近一直在调试 spaCy 正则表达式和标记化，我对过于宽泛的位感到偏执，比如在 [...] 之外的点 .。）

标签： python tokenize spacy rules

【解决方案1】：

标记器异常（也：特殊情况、规则）优先于其他模式，因此您需要删除不需要的特殊情况。

nlp.tokenizer.rules 包含特殊情况，您可以对其进行修改。删除所有带句点的异常，例如：

new_rules = {}
for orth, exc in nlp.tokenizer.rules.items():
    if "." not in orth:
        new_rules[orth] = exc
nlp.tokenizer.rules = new_rules

【讨论】：

你的意思是if "." not in exc？这对我也不起作用，我在修改中缀、后缀和前缀的代码块之后添加了这段代码。当我运行 explain() 方法时，这些字符串仍被标记为 SPECIAL-1
我认为我们需要做这样的事情spacy.io/usage/adding-languages#tokenizer-exceptions 除了不确定如何从 util 导入
应该是if "." not in orth，固定在上面！
如果您使用带有 if 子句的 dict 理解，这是一个单行：nlp.tokenizer.rules = {k:v for k,v in nlp.tokenizer.rules.items() if '.' not in orth}