CountVectorizer 的单个字母的空词汇表

Question

试图将字符串转换为数值向量，

### Clean the string
def names_to_words(names):
    print('a')
    words = re.sub("[^a-zA-Z]"," ",names).lower().split()
    print('b')

    return words


### Vectorization
def Vectorizer():
    Vectorizer= CountVectorizer(
                analyzer = "word",  
                tokenizer = None,  
                preprocessor = None, 
                stop_words = None,  
                max_features = 5000)
    return Vectorizer  


### Test a string
s = 'abc...'
r = names_to_words(s)
feature = Vectorizer().fit_transform(r).toarray()

但是当我遇到：

 ['g', 'o', 'm', 'd']

有错误：

ValueError: empty vocabulary; perhaps the documents only contain stop words

这样的单字母字符串似乎有问题。 我该怎么办？ 谢谢

Answer 1

CountVectorizer 中的默认 token_pattern 正则表达式选择至少有 2 个字符的单词为 stated in documentation：

token_pattern：字符串

表示什么构成“令牌”的正则表达式，仅在以下情况下使用 分析器 == '单词'。默认的正则表达式选择 2 个或更多的标记 字母数字字符（标点符号被完全忽略并且总是 视为标记分隔符）。

从source code of CountVectorizer 是r"(?u)\b\w\w+\b

将其更改为 r"(?u)\b\w+\b 以包含 1 个字母的单词。

将您的代码更改为以下内容（在上述建议中包含token_pattern 参数）：

Vectorizer= CountVectorizer(
                analyzer = "word",  
                tokenizer = None,  
                preprocessor = None, 
                stop_words = None,  
                max_features = 5000,
                token_pattern = r"(?u)\b\w+\b")