如何修复 scikit-learn 中的令牌模式？

Question

我正在使用 scikit-learn 中的 TfidfVectorizer 来提取特征， 设置如下：

def tokenize(text):
    tokens = nltk.word_tokenize(text)
    stems = []
    for token in tokens:
        token = re.sub("[^a-zA-Z]","", token)
        stems.append(EnglishStemmer().stem(token))
    return stems

vectorizer = TfidfVectorizer(tokenizer=tokenize, lowercase=True, stop_words='english')

将训练集输入向量化器后，我调用

vectorizer.get_feature_names()

输出包含一些带有空格的重复单词：例如

u'', u' ', u' low', u' lower', u'lower', u'lower ', u'lower high', u'lower low'

并且可接受的输出应该是：

u'low', u'lower', u'lower high', u'lower low'

我该如何解决？谢谢。

Answer 1

你可以像下面这样，

>>> l = ['lower low', 'lower high','lower ', ' lower', u'lower', ' ', '', 'low']
>>> list(set(i.strip() for i in l if i!=' ' and i))
['lower', 'lower low', 'lower high', 'low']