停用词未从字符串中正确删除

Question

我有一个函数可以从文件中读取停用词并将其保存在 HashSet 中。

HashSet<String> hset = readFile();

这是我的字符串

String words = "the plan crash is invisible";

我正在尝试从字符串中删除所有停用词，但它无法正常工作

我得到的输出：计划崩溃不可见

我想要的输出 => 计划崩溃不可见

代码：

HashSet<String> hset = readFile();
        String words = "the plan crash is invisible";

        String s = words.toLowerCase();

        String[] split = s.split(" ");
        for(String str: split){
            if (hset.contains(str)) {

                s = s.replace(str, "");

            } else {

            }

        }

        System.out.println("\n" + "\n" + s);

Answer 1

虽然hset.contains(str) 匹配完整单词，但s.replace(str, ""); 可以替换作为输入String 单词一部分的“停止”单词的出现。因此，“invisible”变成了“invible”。

由于您无论如何都要遍历s 的所有单词，因此您可以构造一个包含Set 中未包含的所有单词的String：

StringBuilder sb = new StringBuilder();
for(String str: split){
    if (!hset.contains(str)) {
        if (sb.length() > 0) {
            sb.append(' ');
        }
        sb.append(str);
    }
}
System.out.println("\n" + "\n" + sb.toString());

Answer 2

无需检查您的字符串是否包含停用词或拆分您的字符串，您可以使用使用正则表达式的replaceAll，如下所示：

for (String str : hset) {
    s = s.replaceAll("\\s" + str + "|" + str + "\\s", " ");
}

---

示例：

HashSet<String> hset = new HashSet<>();
hset.add("is");
hset.add("the");

String words = "the plan crash is invisible";

String s = words.toLowerCase();

for (String str : hset) {
    s = s.replaceAll("\\s" + str + "|" + str + "\\s", " ");
}
s = s.replaceAll("\\s+", " ").trim();//comment and idea of @davidxxx
System.out.println(s);

这可以给你：

plan crash invisible