从 IQueryable 创建自定义对象而不将所有内容加载到内存中

Question

这是this question 的后续问题。你应该先读一下。

感谢this answer，我现在创建了一个可以返回正确条目的查询。见：

IQueryable<Data> onePerHour = dataLastWeek
    .Where(d => 
        !dataLastWeek
        .Any(d2 =>
            d2.ArchiveTime.Date == d.ArchiveTime.Date &&
            d2.ArchiveTime.Hour == d.ArchiveTime.Hour &&
            d2.ArchiveTime < d.ArchiveTime));

现在为了处理条目并将它们显示在图表上，我只需要模型类Data 的一两个属性。用例是这样的：

List<Data> actualData = onePerHour.ToList();

var tempCTupels = new List<TimeTupel<float>>();
tempCTupels.AddRange(actualData.Select(d => new TimeTupel<float>(d.ArchiveTime, d.TempC)));

var co2Tupels = new List<TimeTupel<float>>();
tempCTupels.AddRange(actualData.Select(d => new TimeTupel<float>(d.ArchiveTime, d.CO2Percent)));

TimeTupel 非常简单，定义如下：

public class TimeTupel<TData>
{
    public TimeTupel(DateTime time, TData yValue)
    {
        Time = time;
        YValue = yValue;
    }

    public DateTime Time { get; set; }
    public TData YValue { get; set; }
}

问题

目前actualdata 是List<Data>，这意味着它已完全加载到内存中。
因为我只使用两个属性，所以我不需要检索整个对象来创建TimeTupels。

现在我的问题是如何实现性能提升？删除ToList 是正确的方法吗？

我尝试过的事情

• 仅使用IQueryable<Data> 创建TimeTupel：
  IQueryable<Data> actualData = onePerHour; 产生运行时错误（“System.InvalidOperationException: 'Null TypeMapping in Sql Tree'”）

  李>

• 使用AsEnumerable:
  IEnumerable<Data> actualData = onePerHour.AsEnumerable(); 很慢，10 天的数据大约需要 22 秒

• 使用ToList，如上面的代码所示（ToArray 几乎相等）：
  List<Data> actualData = onePerHour.ToList(); 更快，相同数量的数据大约需要 5 秒

  李>

Answer 1

在实际从 IQueryable 加载对象之前，您只能选择所需的属性。在您的 Where 语句之后使用 Select 仅加载您需要的内容。

一个例子：

假设你有一个如下所示的类：

public class Person {
        public string Name { get; set; }
        public int Age { get; set; }
    }

我可以初始化一个测试项目列表：

var people = new List<Person> { new Person { Name = "John", Age = 10 }, new Person { Name = "Archie", Age = 40 } };

然后我们应用过滤器：

var filterred = people.Where(p => p.Age > 15).Select(p => p.Name).ToList();

如果我想用选择创建一个新对象，要选择多个属性，我可以这样做：

var objFilterred = people.Where(p => p.Age > 15).Select(p => new { FullName = p.Name  }).ToList();

您不必使用匿名对象，也可以创建一个只包含您需要的属性的新类，然后简单地填充它。

您不能“删除”ToList，因为这是实际执行查询的内容。 IQueryable 不是数据，它是一个尚未运行的查询，您可以链接任意数量的内容。最后一步是执行它，运行 ToList 之类的东西，以实际加载对象。只要您构建了 IQueryable 并在完成后执行它，那么您应该会看到执行速度有所提高

Answer 2

您可以在 Select 语句中使用匿名类型来仅将所需的数据列检索到内存中，然后将内存中的数据从那里转换为 TimeTupel 类。它看起来像这样：

var actualData = dataLastWeek
    .Where(d => 
        !dataLastWeek
        .Any(d2 =>
            d2.ArchiveTime.Date == d.ArchiveTime.Date &&
            d2.ArchiveTime.Hour == d.ArchiveTime.Hour &&
            d2.ArchiveTime < d.ArchiveTime))
    .Select(d => new { d.ArchiveTime, d.TempC, d.CO2Percent})
    .ToList();

var tempCTupels = actualData.Select(d => new TimeTupel<float>(d.ArchiveTime, d.TempC)).ToList();

var co2Tupels = actualData.Select(d => new TimeTupel<float>(d.ArchiveTime, d.CO2Percent)).ToList();