根据列表对单词进行标记

Question

我需要根据特定的单词列表对句子中的单词进行分词。

wordlist = ["nlp - nltk", "CIFA R12 - INV"]

示例输入：这是nlp - nltk CIFA R12 - INV 的示例文本。

在使用 word_tokenize(Exapmle-input) 时，我需要 nlp - nltk 作为一个标记，CIFA R12 - INV 作为另一个标记。这是否可能而不是将nlp - CIFA 作为不同的令牌？

Answer 1

对于那些将来来这里的人：-
经过一番阅读，我发现 nltk.tokenize.mwe 模块是实现上述要求的选项。

参考：http://www.nltk.org/api/nltk.tokenize.mwe.html