使用 spacy sentenizer 拆分句子

Question

我正在使用 spaCy 的句子器来拆分句子。

from spacy.lang.en import English
nlp = English()
sbd = nlp.create_pipe('sentencizer')
nlp.add_pipe(sbd)

text="Please read the analysis. (You'll be amazed.)"
doc = nlp(text)

sents_list = []
for sent in doc.sents:
   sents_list.append(sent.text)

print(sents_list)
print([token.text for token in doc])

输出

['Please read the analysis. (', 
"You'll be amazed.)"]

['Please', 'read', 'the', 'analysis', '.', '(', 'You', "'ll", 'be', 
'amazed', '.', ')']

标记化已正确完成，但我不确定它是否将第二句与 ( 并以此作为第一句的结尾。

Answer 1

我用 en_core_web_lg 和 en_core_web_sm 模型测试了下面的代码，sm 模型的性能类似于使用 sentencizer。 （lg模型会影响性能）。

自定义边界以下仅适用于 sm 模型，并与 lg 模型进行不同的拆分。

nlp=spacy.load('en_core_web_sm')
def set_custom_boundaries(doc):
    for token in doc[:-1]:
        if token.text == ".(" or token.text == ").":
            doc[token.i+1].is_sent_start = True
        elif token.text == "Rs." or token.text == ")":
            doc[token.i+1].is_sent_start = False
    return doc

nlp.add_pipe(set_custom_boundaries, before="parser")
doc = nlp(text)

for sent in doc.sents:
 print(sent.text)

Answer 2

sentencizer 是一个非常快速但也非常简单的句子拆分器，在这样的标点符号下不会有很好的性能。将文本拆分成句子块很有用，但如果您需要更高质量的句子分割，请使用英语模型的parser 组件进行句子分割。