C#确定列表中的重复项[重复]

Question

要求：在一个未排序的List中，判断是否存在重复。我会这样做的典型方法是 n 平方嵌套循环。我想知道其他人如何解决这个问题。 Linq 中是否有优雅、高性能的方法？采用 lambda 或比较器的通用东西会很好。

Answer 1

除非我遗漏了什么，否则你应该可以使用Distinct() 来解决一些简单的问题。当然，它不会是您能想到的最复杂的实现，但它会告诉您是否删除了任何重复项：

var list = new List<string>();

// Fill the list

if(list.Count != list.Distinct().Count())
{
     // Duplicates exist
}

Answer 2

根据Eric White关于如何Find Duplicates using LINQ的文章：

查找重复项的一种简单方法是编写一个按标识符分组的查询，然后过滤具有多个成员的组。在下面的例子中，我们想知道 4 和 3 是重复的：

int[] listOfItems = new[] { 4, 2, 3, 1, 6, 4, 3 };
var duplicates = listOfItems
    .GroupBy(i => i)
    .Where(g => g.Count() > 1)
    .Select(g => g.Key);
foreach (var d in duplicates)
    Console.WriteLine(d); // 4,3

Answer 3

如果重复项存在于列表的前面，为了允许短路，您可以添加HashSet<T> 并检查其.Add 方法的返回值。

通过使用.Any，您可以在发现重复项后立即将枚举短路。

这是 C# 和 VB 中的 LINQ 扩展方法：

CSharp：

public static bool ContainsDuplicates<T>(this IEnumerable<T> enumerable)
{
    var knownKeys = new HashSet<T>();
    return enumerable.Any(item => !knownKeys.Add(item));
}

Visual Basic：

<Extension>
Public Function ContainsDuplicates(Of T)(ByVal enumerable As IEnumerable(Of T)) As Boolean
    Dim knownKeys As New HashSet(Of T)
    Return enumerable.Any(Function(item) Not knownKeys.Add(item))
End Function

注意：要检查是否有没有重复，只需将Any更改为All

Answer 4

将所有项目放在一个集合中，如果集合的计数与列表的计数不同，则存在重复。

bool hasDuplicates<T>(List<T> myList) {
    var hs = new HashSet<T>();

    for (var i = 0; i < myList.Count; ++i) {
        if (!hs.Add(myList[i])) return true;
    }
    return false;
}

应该比 Distinct 更有效，因为不需要遍历所有列表。

Answer 5

这些方面的东西相对简单，并且会为您提供重复的计数。

var something = new List<string>() { "One", "One", "Two", "Three" };

var dictionary = new Dictionary<string, int>();

something.ForEach(s =>
    {
        if (dictionary.ContainsKey(s))
        {
            dictionary[s]++;
        }
        else
        {
            dictionary[s] = 1;
        }
    });

我想这类似于 Distinct 的实现，虽然我不确定。

Answer 6

您可以使用 IEnumerable.GroupBy 方法。

var list = new List<string> {"1", "2","3", "1", "2"};
var hasDuplicates = list.GroupBy(x => x).Any(x => x.Skip(1).Any());

Answer 7

您可以对 IEnumerable 使用 Distinct() 扩展方法

Answer 8

如果您使用整数或有序集合，请使用二叉树以获得 O(nlog n) 性能。

或者，找到另一种更快的排序方式，然后简单地检查每个值是否与前一个不同。

Answer 9

将Enumerable.Any 与HashSet.Add 一起使用，例如：

List<string> list = new List<string> {"A", "A", "B", "C", "D"};
HashSet<string> hashSet = new HashSet<string>();
if(list.Any(r => !hashSet.Add(r)))
{
   //duplicate exists. 
}

如果HashSet 中已经存在该项目，HashSet.Add 将返回false。这不会迭代整个列表。

Answer 10

您可以使用Distinct() 语句来查找唯一记录。然后与这样的原始通用列表进行比较：

  if (dgCoil.ItemsSource.Cast<BLL.Coil>().ToList().Count != dgCoil.ItemsSource.Cast<BLL.Coil>().Select(c => c.CoilNo).Distinct().Count())
  {    
    //Duplicate detected !!
    return;
  }

Answer 11

还没有看到有人这样做，所以这是我刚刚编写的一个小程序。这很简单。使用 Contains()，虽然我不知道这种方法的可扩展性如何。

       Console.WriteLine("Please enter 5 unique numbers....");
        List<int> uniqueNums = new List<int>() { };
        while (uniqueNums.Count < 5)
        {
            int input = Convert.ToInt32(Console.ReadLine());
            if (uniqueNums.Contains(input))
            {
                Console.WriteLine("Add a different number");
            }
            uniqueNums.Add(input);
        }
        uniqueNums.Sort();
        foreach (var n in uniqueNums)
        {
            Console.WriteLine(n);
        }