比较大型列表并提取缺失数据

Question

我有两个非常大的ArrayList，每个都包含数百万个数据。我想从List1 中过滤掉List2 中不存在的数据和/或反之亦然。

我尝试了 Apache CollectionUtils，Java 8 流 API 没有任何成功。

Java 8 并行流正在消耗所有 CPU，CollectionUtils 继续比较数据集而没有任何输出。

POJO 示例

public DataVO {
 private String id;
 private String value;
 ...
 // getters / setters

 @Override
 public int hashCode() {
  final int prime = 31;
  int result = 1;
  result = (prime * result) + ((id == null) ? 0 : id.hashCode());
  return result;
 }

 @Override
 public boolean equals(final Object obj) {
  ...
  ...
  final DataVO other = (DataVO) obj;
  if (id == null) {
   if (other.id != null) {
    return false;
   }
  }
  else if (!id.equals(other.id)) {
   return false;
  }
  return true;
 }
}

hashCode() / equals() 可以有更多字段，现在我保持简单。

我还尝试将List1 拆分为更小的块，然后尝试与List2 进行比较，但没有任何结果。我查看了其他问题，但没有一个问题考虑过大容量。

如果您有任何指示，请告诉我。

Answer 1

您可以将ArrayList 的大块读入HashSet，例如10k 个元素。确保在 HashSet 构造函数上设置大小。然后对于每个块调用HashSet#RemoveAll 和另一个ArrayList。其余条目是您的答案。甚至可能与 ThreadPoolExecutor 并行。

List missing = new ArrayList(); // answer

for (int i = 0; i < list1.size(); ) {
    int offset = i;
    i += 16 * 1024;
    if (i > list1.size()) i = list1.size();
    Set chunk = new HashSet(list1.subList(offset, i));

    for (int j = list2.size(); --j >= 0; chunk.remove(list2.get(j));
    missing.addAll(chunk);
}