查找另一个列表中不存在的所有项目需要很多时间

Question

我有几个通用列表，一个包含 70,000 多个项目，另一个包含 10 个项目。与第一个列表进行比较时，我必须找出第二个列表中不存在的项目。从逻辑上讲，我的代码运行良好，并且使用较小的列表集我不会遇到任何严重的性能问题。由于我的第一个列表超过 70K 项目，我面临着严重的性能问题。执行并获得结果需要大量时间。

我的问题是？有没有更好的方法来做到这一点？我无法忍受这个性能问题。有什么改进建议吗？我正在使用 C#、.NET 3.5

List<Employee> existingEmployeeList = List of 70K employees;
List<Employee> validEmployeeList = List of 10 employees;

var emloyeeDeletedFilterList = existingEmployeeList.Where(m => !validEmployeeList.Any(p => p.EmployeeId == m.EmployeeId
                            && p.FirstName == m.FirstName
                            && p.Age == m.Age
                            && p.LastName == m.LastName));

我还有另一个操作要查找新添加到列表中的操作。

var emloyeeAddedFilterList = validEmployeeList.Where(m => !existingEmployeeList.Any(p => p.EmployeeId == m.EmployeeId
                                && p.FirstName == m.FirstName
                                && p.Age == m.Age
                                && p.LastName == m.LastName));

我在 where 子句中有 4 个条件来过滤员工列表。

编辑了我的问题：又添加了一个代码 sn-p

Answer 1

编写自定义 EqualityComparer<Employee> 以比较您的 4 个字段，然后使用 .Intersect( 进行操作

var emloyeeFilterList = validEmployeeList.Intersect(existingEmployeeList, new EmployeeComparer()).ToList();

我认为在validEmployeeList 而不是existingEmployeeList 上调用.Intersect( 会更快，但我会以两种方式进行测试以确保。

更新：

糟糕，误解了你想要的。您想要使用的查询是 Except 而不是 Intersect。

如果您想要除有效员工之外的所有现有员工

var emloyeeFilterList = existingEmployeeList.Execpt(validEmployeeList, new EmployeeComparer()).ToList();

或者如果您想要除现有员工之外的所有有效员工。

var emloyeeFilterList = validEmployeeList.Execpt(existingEmployeeList, new EmployeeComparer()).ToList();

这里还有一个如何编写EmployeeComparer的示例

public class EmployeeComparer : EqualityComparer<Employee>
{
    public override bool Equals(Employee x, Employee y)
    {
         return x.EmployeeId == y.EmployeeId
             && x.FirstName == y.FirstName
             && x.Age == y.Age
             && x.LastName == y.LastName
    }

    //Implmentation taken from http://stackoverflow.com/questions/263400/what-is-the-best-algorithm-for-an-overridden-system-object-gethashcode
    public override int GetHashCode(Employee obj)
    {
        unchecked // Overflow is fine, just wrap
        {
            int hash = (int) 2166136261;
            // Suitable nullity checks etc, of course :)
            hash = hash * 16777619 ^ obj.EmployeeId.GetHashCode();
            hash = hash * 16777619 ^ obj.FirstName.GetHashCode();
            hash = hash * 16777619 ^ obj.Age.GetHashCode();
            hash = hash * 16777619 ^ obj.LastName.GetHashCode();
            return hash;
        }
    }
}

Answer 2

考虑使用 HashSet 来存储元素。哈希集要求您重载类的哈希函数。

此外，CPU 可以比任何其他类型更快地比较整数。考虑在遍历元素时实现更多的整数比较。

如果您对衡量性能感兴趣，请阅读有关评估程序相对性能的 Big O 方法。

节日快乐

Answer 3

对于我可以从您的代码示例中解释的内容，您似乎只需要检查“EmployeeId”。如果不是这种情况，您可以尝试以下方法来避免使用 LinQ，因为它不如显式迭代快。

List<Employee> employeeFilterList = new List<Employee>();

for(int a = validEmployeeList.Count; --a >= 0; )
{
    for(int b = existingFieldMappingList.Count; --b >= 0; )
    {
        Employee aEmployee = validEmployeeList[a];
        Employee bEmployee = validEmployeeList[b];
        if (aEmployee.EmployeeId != bEmployee.EmployeeId)
            continue;
        if (aEmployee.FirstName != bEmployee.FirstName)
            continue;
        if (aEmployee.Age != bEmployee.Age)
            continue;
        if (aEmployee.LastName != bEmployee.LastName)
            continue;

        employeeFilterList.Add(aEmployee);
    }
}

编辑：请记住，您可以重新排序 IF 条件，这样第一个条件最有可能跳到下一次迭代。