如何从文档文本中过滤常用词？（哈希图）答案

【问题标题】：How to filter commonly used words from document text? (Hash Maps)如何从文档文本中过滤常用词？（哈希图）
【发布时间】：2015-04-17 02:12:56
【问题描述】：

感谢您的阅读。我目前有一个学校项目，我真的很坚持。目的是从网络上检索文档文本，然后将每个单词存储到地图对象中，同时省略常用的单词，如“which, about, during, after,”等。

基本上归结为：

//要忽略的单词列表

    Set<String> ignore = new HashSet<>(Arrays.asList(new String[]{
  "after", "which", "later", "other", "during", "their", "about"}));

//将遍历文档文本（内容）以查找符合条件的单词到 word_pattern（为简单起见，假设单词有 5 个或更多字母）

Matcher match = Pattern.compile(word_pattern).matcher(content);
while (match.find()) {
   String word = match.group().toLowerCase();

所以现在在这个 while 循环中，我希望跳过忽略集中的任何单词，否则将其添加到地图对象中......但我似乎无法正确处理，似乎没有什么可以点击。我可以轻松地将所有单词添加到地图对象中并扣除一些分数，但我希望能够正确处理我的理智。

【问题讨论】：

【解决方案1】：

您的忽略词列表是一个Set，它提供contains 方法，因此您可以简单地在你的循环中添加这个条件：

if(!ignore.contains(word))
{
    //addToList
}

【讨论】：