EntityFramework GroupBy 与 DBFunctions 或替代答案

【问题标题】：EntityFramework GroupBy with DBFunctions or alternativeEntityFramework GroupBy 与 DBFunctions 或替代
【发布时间】：2016-04-25 20:37:29
【问题描述】：

我有 100 行不同日期的数据。我想每隔 30 分钟按相同日期按结果分组。

相反：
结果一，2016-02-02 13:00:24
结果一，2016-02-02 13:01:24
结果一，2016-02-02 13:02:24
结果一，2016-02-02 13:33:24

需要：

结果一，2016-02-02 13:00:24
结果一，2016-02-02 13:33:24

原始查询：

    return await loc.Where(p => p.ReadTime >= df && p.ReadTime <= dt)
        .OrderBy(p => p.ReadTime)
        .ProjectTo<LocationModel>().ToListAsync();

我尝试了什么：

    return await loc.Where(p => p.ReadTime >= df && p.ReadTime <= dt)
        .GroupBy(p => DbFunctions.TruncateTime(p.ReadTime))
        .Select(p => new LocationModel
        {
            Lng = p.FirstOrDefault().Lng,
            Lat = p.FirstOrDefault().Lat
        })
        .ToListAsync();

堆栈跟踪错误：

.ThrowForNonSuccess（任务任务）\r\n at System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification (任务任务)\r\n at System.Runtime.CompilerServices.TaskAwaiter1.GetResult()\r\n at System.Web.Http .Dispatcher.HttpControllerDispatcher.<SendAsync>d__1.MoveNext()","innerException":{"message":"An error has occurred.","exceptionMessage":"Timeout expired. The timeout period elapsed prior to completion of the operation or the server is not responding.","exceptionType":"System.Data.SqlClient.SqlException" ,"stackTrace":" at System.Data.SqlClient.SqlCommand.<>c.<ExecuteDbDataReaderAsync>b__167_0(Task1 结果 )\r\n 在 System.Threading.Tasks.ContinuationResultTaskFromResultTask`2.InnerInvoke()\r\n 在 System .Threading.Tasks.Task.Execute()\r\n--- 堆栈跟踪结束从先前引发异常的位置 ---\r\n at System.Runtime.CompilerServices.TaskAwaiter.ThrowForNonSuccess（任务任务）\r\n 在 System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification（任务任务）\r \n 在 System.Data.Entity.Core.EntityClient.Internal.EntityCommandDefinition。

d__c.MoveNext()","innerException":{"message":"发生错误。","exceptionMessage":"等待操作计时 out","exceptionType":"System.ComponentModel.Win32Exception","stackTrace":null}}}

【问题讨论】：

我认为这不可能。首先，您发布的测试数据总是有 24 秒；如果最后一行是Result 1, 2016-02-02 13:33:25，会发生什么？您是否希望将其包括在内，因为它不再是第一次之后的 30 分钟？可能可以构造一些SQL，但我不知道你有什么RDBMS。
抱歉，我应该说，“我认为如果不检索所有行并在代码中迭代它们是不可能的。”
我想不出可以完全做到这一点的 SQL 语句，如果不存在，EF 在创建查询时（在上下文中）也无法做到这一点。此外，您在未按列聚合或分组的 IGrouping 上调用 .Select()，因此我认为 GroupBy 语法并不是您真正想要的。

标签： c# multithreading entity-framework

【解决方案1】：

除了将所有数据加载到内存中并根据需要手动格式化之外，我能想到的唯一可行的方法是使用单个查询来执行此操作是将行放入预定义的日期“桶”和从每个桶中选择一行。

存储桶最合乎逻辑的选择是在整点半小时，因为您正在寻找 30 分钟的间隔，例如：

Result 1, 2016-02-02 13:00:24, 2016-02-02 13:00:00 (bucket 1)
Result 1, 2016-02-02 13:01:24, 2016-02-02 13:00:00 (bucket 1)
Result 1, 2016-02-02 13:02:24, 2016-02-02 13:00:00 (bucket 1)
Result 1, 2016-02-02 13:33:24, 2016-02-02 13:30:00 (bucket 2)

下一个要解决的问题是为每个存储桶选择要使用的行。您可以使用的一种方法是确定最接近存储桶的日期（最小值）并使用它：

from l in loc
join bucket in (
    from l in loc
    group l by new DateTime(l.ReadTime.Year, l.ReadTime.Month, l.ReadTime.Day, l.ReadTime.Hour, l.ReadTime.Minute < 30 ? 0 : 30, 0) into g
    select g.Min(m => m.ReadTime)
) on l.ReadTime equals bucket
select new LocationModel
{
    Lng = l.FirstOrDefault().Lng,
    Lat = l.FirstOrDefault().Lat
}

这种方法需要小心，因为如果存在具有相同日期/时间值的行，最终可能会出现重复。如果实体/表使用标识列作为其主键，并且行以日期/时间顺序的方式插入到表中，则可以使用键来确定每个桶的行，因为键实际上是按日期升序排列的：

from l in loc
join bucket in (
    from l in loc
    group l by new DateTime(l.ReadTime.Year, l.ReadTime.Month, l.ReadTime.Day, l.ReadTime.Hour, l.ReadTime.Minute < 30 ? 0 : 30, 0) into g
    select g.Min(m => m.Id)
) on l.Id equals bucket
select new LocationModel
{
    Lng = l.FirstOrDefault().Lng,
    Lat = l.FirstOrDefault().Lat
}

这将确保没有重复。否则，您将需要过滤代码中的重复项或进一步扩展查询。不过，我对您的特定域知之甚少，所以我将这部分留给您解决。

我还应该指出，Linq to SQL 支持上述查询，但是如果不支持某些内容（例如 DbFunctions.CreateDateTime），您可能需要将 DbFunctions 类用于带有 EF 的 DateTime 位。

【讨论】：