django查询聚合函数很慢？

Question

我正在使用 Django 来了解如何处理大型数据库。我使用包含名称、年龄、出生日期（dob）和身高的数据库。该数据库有大约 500000 个条目。我必须找到（1）同龄和（2）同年出生的人的平均身高。查询表中的聚合函数大约需要 10s。是平常还是我错过了什么？

年龄：

age = [i[0] for i in Data.objects.values_list('age').distinct()]
ht = []
for each in age:
    aggr = Data.objects.filter(age=each).aggregate(ag_ht=Avg('height')
    ht.append(aggr)

来自dob，

age = [i[0].year for i in Data.objects.values_list('dob').distinct()]
for each in age:
    aggr = Data.objects.filter(dob__contains=each).aggregate(ag_ht=Avg(‌​'height')
    ht.append(aggr)

必须从 dob 中提取年份。它是 SQLite，我不能使用 __year (join)。

Answer 1

要使这些查询高效，您必须在 age 和 dob 列上输入 create indexes。

使用covering indexes，即使用包含height 列的两列索引，您将获得额外的小幅加速。

Answer 2

带有时间比较循环和查询集版本的完整版

import time
from dd.models import Data
from django.db.models import Avg
from django.db.models.functions import ExtractYear

年龄

start = time.time()
age = [i[0] for i in Data.objects.values_list('age').distinct()]
ht = []

for each in age:
    aggr = Data.objects.filter(age=each).aggregate(ag_ht=Avg('height'))
    ht.append(aggr)

end = time.time()
loop_time = end - start

start = time.time()
qs = Data.objects.values('age').annotate(ag_ht=Avg('height')).order_by('age')
ht_qs = qs.values_list('age', 'ag_ht')
end = time.time()
qs_time = end - start

print loop_time / qs_time

对于出生年份，可以轻松重构您的版本（在年份中添加设置）

start = time.time()
years = set([i[0].year for i in Data.objects.values_list('dob').distinct()])
ht_year_loop = []
for each in years:
    aggr = Data.objects.filter(dob__contains=each).aggregate(ag_ht=Avg('height'))
    ht_year_loop.append((each, aggr.get('ag_ht')))

end = time.time()
loop_time = end - start

start = time.time()
qs = Data.objects.annotate(dob_year=ExtractYear('dob')).values('dob_year').annotate(ag_ht=Avg('height'))
ht_qs = qs.values_list('dob_year', 'ag_ht')
end = time.time()
qs_time = end - start

print loop_time / qs_time