如何从 CountVectorizer 中过滤特征？

Question

我正在进行文本分析（主题建模），当我通过CountVectorizer 运行它时，我得到一堆与我的需求完全无关的数字、日期和位置。我以为我会输入preprocessing function，但scikit-learn page for preprocessing 似乎没有我在构建预处理器时需要的任何信息。

Answer 1

您可以更改CountVectorizer中的token_pattern参数。

令牌模式是表示什么构成“令牌”的正则表达式，仅在analyzer == 'word' 时使用。令牌模式的类型是字符串。

默认token_pattern=r"(?u)\b\w\w+\b"。默认的正则表达式选择 2 个或更多字母数字字符的标记（标点符号被完全忽略并始终被视为标记分隔符）。您可以更改它以满足您的需求（例如忽略日期）。