Django - 查询重复/低效

Question

好的，我有一个 Django 视图，如下所示：

@render_to('home/main.html')
def login(request):
    # also tried Client.objects.select_related().all()
    clients = Client.objects.all()
    return {'clients':clients}

我有一个模板，main.html，像这样：

<ul>
{% for client in clients %}
<li>{{ client.full_name }}</li>
    <ul>
    {% for pet in client.pets.all %}
        <li>{{ pet.full_name }}</li>
    {% endfor %}
    </ul>
{% endfor %}
</ul>

我还在我的基本模板底部打印出sql_queries 中的所有查询。当我运行此视图时，会进行以下查询：

SELECT `home_client`.`id`, ... FROM `home_client`;
SELECT `home_pet`.`id`, ... FROM `home_pet` WHERE `home_pet`.`client_id` = 1;
SELECT `home_client`.`id`, ... FROM `home_client` WHERE `home_client`.`id` = 1;
SELECT `home_client`.`id`, ... FROM `home_client` WHERE `home_client`.`id` = 1;
SELECT `home_pet`.`id`, ... FROM `home_pet` WHERE `home_pet`.`client_id` = 2;
SELECT `home_client`.`id`, ... FROM `home_client` WHERE `home_client`.`id` = 2; 

我的问题是，为什么要进行所有这些查询？不应该只是 1 个查询来检索所有客户端，而每个客户端一个查询来检索每个客户端的所有宠物吗？我在home_client 表中有 2 个客户，所以总共应该是 3 个查询。最令人不安的是查询 3 和 4 是 100% 相同的。我不想“过早地优化”或任何东西，但我确实想确保 Django 不会非常低效。对此的任何帮助将不胜感激。谢谢。

Answer 1

Django 使用缓存。 RDBMS 使用缓存。不要过早地优化查询。

您可以在视图函数中使用批量查询，而不是在模板中使用一次一次的查询。

@render_to('home/main.html')
def login(request):
    # Query all clients 
    clients = Client.objects.all()
    # Assemble an in-memory table of pets
    pets = collections.defaultdict(list)
    for p in Pet.objects.all():
        pets[pet.client].append(p)
    # Create clients and pets tuples
    clientsPetTuples = [ (c,pets[c]) for c in clients ]
    return {'clientPets': clientsPetTuples}

但是，您似乎没有任何证据表明您的模板是应用程序中最慢的部分。

此外，这权衡了巨大的内存使用与 SQL 的使用。在您有测量结果证明您的模板查询实际上很慢之前，您不应该过度考虑 SQL。

在你有证据之前不要担心 SQL。

Answer 2

尝试使用 Client.objects.all().select_related()

这也会自动在单个数据库查询中缓存相关模型。

Answer 3

客户 1 有 2 只宠物，客户 2 有 1 只宠物吗？

如果是这样，那将向我表明 Pet.full_name 或您在宠物显示循环中执行的其他操作正在尝试访问其相关客户的详细信息。 Django 的 ORM 不使用 identity map，因此从任何 Pet 对象访问客户端外键都需要再次访问数据库以检索该客户端。

附： select_related 不会对您在这种情况下使用的数据产生任何影响，因为它只遵循外键关系，但宠物与客户的关系是多对一的。

更新：如果您想避免更改 Pet.full_name 中的逻辑或在此情况下必须在模板中执行上述逻辑，您可以更改处理方式每个客户端的宠物，以便为每个宠物及其客户端预填充 ForeignKey 缓存：

class Client(models.Model):
    # ...
    def get_pets(self):
        for pet in self.pets.all():
            setattr(pet, '_client_cache', self)
            yield pet

...'_client_cache' 的 'client' 部分是 Pet 类中用于 Pet 客户端的 ForeignKey 的任何属性名称。这利用了 Django 使用其SingleRelatedObjectDescriptor 类实现对 ForeignKey 相关对象的访问的方式，该类在查询数据库之前查找此缓存属性。

产生的模板使用：

{% for pet in client.get_pets %}
...
{% endfor %}