【问题标题】:C# how to yield return SelectMany?C#如何产生返回SelectMany?
【发布时间】:2019-08-29 00:58:26
【问题描述】:

假设我有以下通用组合生成器静态方法:

public static IEnumerable<IEnumerable<T>> GetAllPossibleCombos<T>(
    IEnumerable<IEnumerable<T>> items)
{
    IEnumerable<IEnumerable<T>> combos = new[] {new T[0]};

    foreach (var inner in items)
        combos = combos.SelectMany(c => inner, (c, i) => c.Append(i));

     return combos;
}

也许我没有正确理解这一点,但这不是在 RAM 中构建整个组合列表吗?如果有大量项目,该方法可能会导致计算机内存不足。

有没有办法重写方法以在每个组合上使用yield return,而不是返回整个组合集?

【问题讨论】:

    标签: c# linq combinatorics


    【解决方案1】:

    您的问题中有一些误解,这太棒了,因为现在您有机会了解事实而不是神话。


    首先,您正在实现的方法通常称为CartesianProduct,而不是GetAllPossibleCombos,因此请考虑重命名它。


    也许我没有正确理解这一点

    您没有正确理解它。

    这不是在 RAM 中构建整个组合列表吗?

    没有。 查询构建器构建查询,而不是执行查询的结果。当您执行SelectMany 时,您得到的是一个将在未来进行选择的对象。您不会得到该选择的结果。

    如果有大量项目,该方法可能会导致计算机内存不足。

    今天将是停止将内存和 RAM 视为同一事物的好日子。当一个进程用完内存时,它不会用完 RAM。它用完了不是 RAM 的 地址空间。考虑内存的更好方法是:内存是磁盘上的页面文件,而 RAM 是使您的页面文件更快的特殊硬件。当您用完 RAM 时,您的机器可能会变得非常慢,但您不会用完 内存,直到您用完 地址空间。请记住,进程内存是虚拟化的

    现在,可能存在执行此代码效率低下的情况,因为枚举查询会超出堆栈。并且可能存在执行效率低下的情况,因为您将 n 项向上移动 n 深。我建议您对您的代码进行更深入的分析,看看是否是这种情况,然后报告。


    有没有办法重写方法以在每个组合上使用收益返回,而不是返回整个组合集?

    SelectManyforeach 循环中实现为yield return,因此您已经在每个组合上将其实现为yield return;您刚刚在对 SelectMany 的调用中隐藏了 yield return

    也就是说,SelectMany&lt;A, B, C&gt;(IE&lt;A&gt; items, Func&lt;A, IE&lt;B&gt;&gt; f, Func&lt;A, B, C&gt; g) 被实现为:

    foreach(A a in items)
      foreach(B b in f(a))
        yield return g(a, b);
    

    所以你已经在yield return完成了。

    如果你想编写一个直接执行yield return的方法,那就有点难了;最简单的方法是在每个子序列上形成一个枚举器数组,然后从枚举器的每个Currentyield return 向量中创建一个向量,然后将正确的迭代器推进一步。继续这样做,直到不再有正确的迭代器可以推进。

    您可能从该描述中可以看出,簿记变得一团糟。这是可行的,但编写代码不是很愉快。试试看吧!该解决方案的好处是可以保证您具有良好的性能,因为您不消耗任何堆栈。

    更新:这个相关问题发布了一个执行迭代算法的答案,但我没有查看它是否正确。 https://stackoverflow.com/a/57683769/88656


    最后,我鼓励您将自己的实现与我的实现进行比较:

    https://ericlippert.com/2010/06/28/computing-a-cartesian-product-with-linq/

    我的实现在任何方面根本上与你的不同,还是我们在做同样的事情,只是使用了稍微不同的语法?考虑一下。

    另外,我鼓励您阅读 Ian Griffiths 的优秀的六部分系列,分析此函数的各种实现:

    http://www.interact-sw.co.uk/iangblog/2010/07/28/linq-cartesian-1

    【讨论】:

    • 感谢您的宝贵一课。我现在看到这个问题是我误解的产物。
    • @sapbucket:不客气。您质疑您的实现的性能特征是非常正确的,只是不是出于您最初认为的原因。这里可能存在性能问题,并且可以通过自己做所有的簿记来做出性能更好的实现,但这并不令人愉快。此外,认为查询计算结果是对 LINQ 最常见的误解;我总是很高兴能劝阻人们反对这个坏主意!
    【解决方案2】:

    SelectMany 和其他 Linq 方法返回一个 IEnumerable,仅在枚举集合时才会延迟计算。这可以是ToList()ToArray() 调用的形式,或者在foreach 循环中对其进行迭代。当您在调试器警告中看到扩展集合将枚举可枚举的消息时,这就是它警告您的行为。该集合尚未枚举 - Linq 查询仅构建一个调用链,告诉它如何枚举数据。

    因此,您对 RAM 使用的担忧不一定准确(取决于起始 IEnumerable 的具体类型)。即使您调用 ToList()ToArray() 并将对它的引用存储在变量中,如果集合元素是引用类型,那么它也不会是副本。

    在您的示例中,yield return 为您提供方便,如果您想懒惰地构建元素集合而不将其存储在单独的集合中(例如,返回列表或数组,这需要额外的复制)。我认为它不适用于您正在尝试做的事情,因为 SelectMany 已经有这种行为。

    如果您想尝试一下,Linq 可以很容易地使用 Enumerable.Repeat 生成大型列表

    // Define a collection with 10000000 items (items not created yet)
    var manyItems = Enumerable.Repeat(123, 10000000);
    
    // Enumerate the enumerable via ToList: creates the int 10000000 times
    var manyItemsConcrete = manyItems.ToList();
    
    // same deal with reference types
    var manyReferenceTypes = Enumerable.Repeate(new object(), 10000000);
    var manyReferenceTypesConcrete = manyReferenceTypes.ToList();
    
    // This list already exists in RAM taking up space
    var list = new List<object> { new object(), new object() /* ... x10000000 */ }
    // This defines a transform on list, but doesn't take up RAM
    var enumerable = list.Select(x => x.ToString());
    
    // Now, there are two lists taking up RAM
    var newList = enumerable.ToList();
    
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2023-03-19
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多