LINQ/IEnumerable Skip().Take() 效率与“收益回报”一起使用

Question

我对@9​​87654322@ 和Take() 与IEnumerable<> 一起使用时的效率有疑问。

我使用IEnumerable<> 返回我的所有数据列表，并且我使用“yield return”来防止我必须分配大量内存来传回数据。这非常有效。

但是，在我的流程后期，我想批量处理这些数据，并一次从我的列表中提取 20 个条目。我心想..啊！这非常适合枚举器。

我在IEnumerable interface 上发现了非常有用的Skip() 和Take() 方法，但是我现在意识到这会导致我的循环每次从头开始重新交互。

从IEnumerable 分页数据的最佳方式是什么？我最好在枚举器上使用MoveFirst() 和MoveNext() 而不是Skip() 和Take()？

我已经做了一些谷歌搜索，但找不到答案..

有人可以帮忙吗？

我真的很喜欢 IEnumerable<> 上的 LINQ 功能，但是我真的必须考虑效率。

Answer 1

您可以编写一个Batch 方法将一系列项目转换为给定大小的批次序列，这可以在不需要多次迭代源序列的情况下完成，并且可以将内存占用限制为仅一次在内存中保存一批的大小：

public static IEnumerable<IEnumerable<T>> Batch<T>(
    this IEnumerable<T> source, int batchSize)
{
    List<T> buffer = new List<T>(batchSize);

    foreach (T item in source)
    {
        buffer.Add(item);

        if (buffer.Count >= batchSize)
        {
            yield return buffer;
            buffer = new List<T>(batchSize);
        }
    }
    if (buffer.Count > 0)
    {
        yield return buffer;
    }
}

Answer 2

在内存和 CPU 之间总是需要权衡取舍。目前，您通过使用Skip 向前移动直到页面开始来获取页面的项目，并且这些项目将由迭代器块在每个页面请求上重新计算。

但是，您可以通过缓存到目前为止计算的项目来避免重新计算，但这会占用一些内存。您说您决定使用迭代器块来避免使用过多内存，但也许只缓存必要项目的“智能”解决方案可能有用？

在 Stack Overflow 问题Is there an IEnumerable implementation that only iterates over it's source (e.g. LINQ) once 的答案中，您会发现一些解决方案仅计算和存储足够的元素以移动到您的页面。例如。如果您的页面大小为 10 并且您想要第 5 页，您将只计算和存储前 60 个项目。随后对第 3 页的请求将使用已计算的项目，而对第 10 页的请求将计算并缓存足够的项目以获取该页面的数据。

如果您想执行分页而不从第一个元素开始，也不需要存储未使用的项目，您需要某种方法在特定页面重新开始迭代，而不必迭代所有先前的元素。 IEnumerable<T> 和 IEnumerator<T> 没有提供足够的功能来做到这一点。