给定长度为 n 的列表，使用 C# 选择 k 个随机元素

Question

我找到了这篇文章：

Efficiently selecting a set of random elements from a linked list

但这意味着，为了接近样本中的真正随机性，我必须遍历所有元素，将它们与随机数一起放入内存中，然后进行排序。我这里有大量的项目（数百万） - 有没有更有效的方法来解决这个问题？

Answer 1

我建议像编写修改后的 Fisher-Yates shuffle 一样简单地打乱元素，但只需打乱第一个 k 元素。例如：

public static void PartialShuffle<T>(IList<T> source, int count, Random random)
{
    for (int i = 0; i < count; i++)
    {
        // Pick a random element out of the remaining elements,
        // and swap it into place.
        int index = i + random.Next(source.Count - i);
        T tmp = source[index];
        source[index] = source[i];
        source[i] = tmp;
    }
}

调用此方法后，第一个count元素将从原始列表中随机选取。

请注意，我已将Random 指定为参数，以便您可以重复使用相同的参数。不过要小心线程 - 请参阅我的 article on randomness 了解更多信息。

Answer 2

看看这个扩展方法http://extensionmethod.net/csharp/ienumerable-t/shuffle。您可以添加 Skip() Take() 类型以将值从最终列表中分页。

Answer 3

如果元素可以在内存中，先放到内存中

List<Element> elements = dbContext.Select<Element>();

现在您知道元素的数量了。创建一组唯一索引。

var random = new Random();
var indexes = new HashSet<int>();
while (indexes.Count < k) {
    indexes.Add(random.Next(elements.Count));
}

现在你可以从列表中读取元素了

var randomElements = indexes.Select(i => elements[i]);

我假设数据库包含独特的元素。如果不是这种情况，您将不得不创建一个HashSet<Elements>，或者在从数据库查询时附加.Distinct()。

---

更新

正如 Patricia Shanahan 所说，如果 k 与 n 相比较小，则此方法将很有效。如果不是这样，我建议选择一组要排除的 n - k 个索引

var random = new Random();
var indexes = new HashSet<int>();
IEnumerable<Element> randomElements;

if (k <= elements.Count / 2) {
    while (indexes.Count < k) {
        indexes.Add(random.Next(elements.Count));
    }
    randomElements = indexes.Select(i => elements[i]);
} else {
    while (indexes.Count < elements.Count - k) {
        indexes.Add(random.Next(elements.Count));
    }
    randomElements = elements
        .Select((e,i) => indexes.Contains(i) ? null : elements[i])
        .Where(e => e != null);
}