没有空格时的词分词

Question

我想知道机器学习、深度学习或自然语言处理中的术语，当它们之间没有空格时，它们会在段落中分割单词。

示例： “我想做饭”

变成： “我想做饭”

这并不容易，因为您没有标记单词的字符。

感谢您的帮助

Answer 1

您可以使用polyglot 包来实现此目的。有一个形态分析选项。

这种分析基于morfessor 模型，该模型针对最常见的单词进行了训练，以遇到语素（“语法的原始单位，语言话语中最小的独立有意义的元素”）。

来自documentation：

from polyglot.text import Text

blob = "Wewillmeettoday."
text = Text(blob)
text.language = "en"
print(text.morphemes)

输出将是：

WordList([u'We', u'will', u'meet', u'to', u'day', u'.'])

请注意，如果您想开始使用多语言，您应该首先仔细阅读文档，因为有一些事情需要考虑，例如语言特定模型的downloading。