如何删除arraylist java中的重复数据

Question

public class TestArticles {

public static void handlewords() throws IOException {

    String path = "C:\\Features.txt";
    String path1 = "C:\\train.txt";
    String path2 = "C:\\test.txt";

    File file = new File(path2);
    PrintWriter pw = new PrintWriter(file);


    Features ft = new Features();
    String content = ft.readFile(path);
    String [] words = content.split(" ");

    FileReader fr = new FileReader(path1);  
    BufferedReader br = new BufferedReader(fr);
    String line = null;
    while ((line = br.readLine()) != null) {       
    String [] word = line.split(" ");

    List<String> list1 = new ArrayList<String>(words.length);
    List<String> list2 = new ArrayList<String>(word.length);

   for(String s: words){
       list1.add(s);
       HashSet set = new HashSet(list1);
       list1.clear();
       list1.addAll(set);
    }

     for(String x: word){
        list2.add(x);
        HashSet set = new HashSet(list2);
            list2.clear();
            list2.addAll(set);
    }

   boolean first = true;
   pw.append("{");
    for(String x: list1){
        for(String y: list2){
            if(x.equalsIgnoreCase(y)){
                if(first){
                   first = false; 
                } else {
                    pw.append(",");
                }
              pw.append(list1.indexOf(x) + 39 +" "+ "1");
            }
        }       
    }
       pw.append("}");
       pw.append("\r\n");
       pw.flush();   
    }
     br.close();
     pw.close();

}

我的输出文件类似于：

1. {23 1,35 1,56 1,56 1,...}
2. {2 1,4 1,7 1,...}

第一行部分数据重复，第二行所有数据按顺序排列，没有重复数据。我怎样才能删除那些重复的数据？我已经用过hashset，但是没用。

Answer 1

list1 和 list2 中的项目正确地是唯一的，但区分大小写。所以你可能有像man和Man这样的项目。但是在你的最后一个循环中你使用x.equalsIgnoreCase(y)，因为"man".equalsIgnoreCase("man")和"man".equalsIgnoreCase("MAn")都是真的，这就是重复出现的方式。

有几种方法可以解决这个问题：

• 在构建 list1 和 list2 时，将项目小写
• 或者，使用TreeSet 代替HashSet，并使用忽略大小写的比较器
• 将x.equalsIgnoreCase(y) 更改为x.equals(y)

Answer 2

尝试在您的 Hashset 上覆盖 equals，如下所示：

HashSet set = new HashSet(list1){
    public boolean equals(Object o) {
        return this.toString().equals(o.toString());
    };
};