如何在 nltk 中获取字符串作为 Bigrams 的输入

Question

我是 nltk 的新手，我正在使用 python。 我将字符串作为 Bigrams 的输入。当我展示这个项目时。我把每个字符都当作一个词。

import nltk   
string = "Batman Superman"   
bigram = nltk.bigrams(string) 
print bigram.item() 
[('B','a'),('a','t'),('t','m'),('m','a'),('a','n'),('n',' '),(' ','S'),
('S','u'),('u','p'),('p','e'),('e','r'),('r','m')('m','a'),('a','n')] 

但我希望输出为 [('Batman','Superman')] 请告诉我如何仅将字符串作为输入来获得此输出 Bigrams 函数但不将列表作为输入。

Answer 1

好的，所以这里发生的事情是 bigrams 函数期待您的语料库的标记化版本，即按顺序排列的单词列表。

当您将字符串传递给它时，nltk 会尽最大努力将该字符串转换为字符列表，然后生成该列表的二元组，这恰好是字符对。

如果你想获得词块二元组，你需要像这样标记你的输入句子：

>>> string = "Batman Superman"
>>> tokenized = string.split(" ")
>>> list(nltk.bigrams(tokenized))
[('Batman', 'Superman')]