以天为单位的日期时间差异的高性能计算

Question

我有一个 Django 模型，其中包含一条带有 date 的唯一记录。我目前正在将记录计入天数范围内，例如X 号码已经过了今天的日期，X 将在接下来的 10 天内发生，X 将在接下来的 30 天内发生。 下面的代码是我目前使用的代码，它从针对模型的 records.objects.all() 查询中提取所有值，然后循环遍历每个对象以计算日期时间增量并增加相关计数器。

for x in records:
    if x.date is None:
        missingValue += 1
    else:
        delta = x.date - date.today()
        if delta.days < 0:
            passed += 1
        if delta.days < 10:
            tenDays += 1
        if delta.days < 30:
            thirtyDays += 1

对于大约 50,000 条记录，这大约需要 5-6 秒，这比我希望的要长，我正在尝试减少此时间，因为记录数量可能会增加。 问题实际上是关于日期时间差异的性能计算和对结果天数进行分组，就好像有更好的方法通过 Django Query 或其他我找不到的方法，我愿意尝试它。

我已经探索过在原始 SQL 中使用 DateAdd，但它似乎需要我为每个日期范围查询数据库，并且仍然会导致我需要遍历结果。

Answer 1

使用 SQL 窗口化COUNT:

WITH cte AS (
     SELECT *,CASE WHEN DATEDIFF(DAY,GETDATE(),targetdate) <=0  THEN 0
                   WHEN DATEDIFF(DAY,GETDATE(),targetdate) <=10 THEN 10
                   WHEN DATEDIFF(DAY,GETDATE(),targetdate) <=30 THEN 30
                   ELSE 31 END AS grp
     FROM [record]   
     --WHERE targetdate > GETDATE() - 60  -- last 60 days
)
SELECT DISTINCT grp, COUNT(*) OVER(ORDER BY grp) AS running_count
FROM cte;

Rextester Demo

Answer 2

在优化性能之前，我会考虑批量执行。您最小的变化窗口似乎是 1 天。因此，通过过滤记录模型中的“更新”字段，您可以每小时（每个 cron）调用一次：

from datetime import datetime, timedelta
records.objects.filter(updated__lt = datetime.now()-timedelta(days=1))[:2083]

然后做你的操作。 请注意，您可以限制检索到的记录数。因此，每小时您将处理 2083 条（或 5000 条）记录来划分一天中的任务。这个数字可以根据数据库中的记录数进行缩放（例如 50000/24 = 2083）

此外，您的迁移可能希望反映您希望将其设置在过去，以便在开始时处理每条实时记录。