Django：检索不同的查询集

Question

我的应用中有以下模型。 Addition 模型用于管理 Book 模型和 Collection 模型之间的多对多关系，因为我需要在中间模型上包含额外的字段。

class Book(models.Model):
    name = models.CharField(max_length=200)
    picture = models.ImageField(upload_to='img', max_length=1000)
    price = models.DecimalField(max_digits=8, decimal_places=2)

class Collection(models.Model):
    user = models.ForeignKey(User)
    name = models.CharField(max_length=100)
    books = models.ManyToManyField(Book, through='Addition')
    subscribers = models.ManyToManyField(User, related_name='collection_subscriptions', blank=True, null=True)

class Addition(models.Model):
    user = models.ForeignKey(User)
    book = models.ForeignKey(Book)
    collection = models.ForeignKey(Collection)
    created = models.DateTimeField(auto_now=False, auto_now_add=True)
    updated = models.DateTimeField(auto_now=True, auto_now_add=True)

在我的应用中，用户可以将书籍添加到他们创建的收藏中（例如小说、历史等）。然后其他用户可以关注他们喜欢的那些收藏。

当用户登录网站时，我想显示最近添加到他们所关注的收藏中的所有书籍。对于每本书，我还想显示添加它的人的姓名，以及它所在的集合的名称。

我可以得到所有的补充如下......

additions = Addition.objects.filter(collection__subscribers=user).select_related()

...但这会导致重复的书籍被检索并显示给用户，通常并排显示。

如果有办法检索用户正在关注的收藏中的不同书籍列表？

我正在使用 Django 1.3 + MySQL。

谢谢。

更新

我应该补充一点，一般来说，出于几个原因，我不会寻找任何“遍历结果并以这种方式去重复”的解决方案。

可能会有数万甚至数十万的添加（我也在列出用户添加的所有新添加的页面上显示此信息），响应时间非常重要。

这种解决方案在限制初始结果集时可能会变得更实用，但它会产生分页问题，​​这也是必需的。即，您如何对整个结果集进行分页，同时仅对该结果集的一小部分进行重复数据删除。我愿意接受任何可以解决这个问题的想法。

更新

我还应该提到，如果同一本书被多个用户添加，我实际上并没有偏好使用哪个添加，无论是原始添加还是最近添加都可以。

Answer 1

以下怎么样 - 它不是一个纯 SQL 解决方案，它会花费您一个额外的数据库查询和一些循环时间，但它应该仍然可以执行，并且它可以让您更好地控制哪些添加优先于其他人：

def filter_additions(additions):
    # Use a ValuesQuerySet for performance
    additions_values = additions.values()

    # The following code just eliminates duplicates. You could do 
    # something much more powerful/interesting here if you like,
    # e.g. give preference to additions by a user`s friends 

    book_pk_registry = {}
    excluded_addition_pks = []

    for addition in additions_values:
        addition_pk = addition['id']
        book_pk = addition['book_id']
        if book_pk not in book_pk_registry:
            book_pk_registry[book_pk] = True
        else:
            excluded_addition_pks.append(addition_pk)

    additions = additions.exclude(pk__in=excluded_addition_pks)


additions = Addition.objects.filter(collection__subscribers=user)
additions = filter_additions(additions)

如果涉及的书籍可能超过一千本，您可能希望对初始添加查询设置一个限制。在 exclude 中传递大量 id 列表并不是一个好主意。使用 'values()' 非常重要，因为 Python 可以比查询集更快地循环遍历一个基本的 dicts 列表，并且它使用的内存要少得多。

Answer 2

假设不会显示大量添加内容，这很容易达到目的：

# duplicated..
additions = Addition.objects.filter(collection__subscribers=user, created__gt=DATE_LAST_LOGIN).select_related()

# remove duplication
added_books = {}
for addition in additions:
    added_books[addition.book] = True
added_books = added_books.keys()

根据您对问题的描述，性能不会有问题。

Answer 3

additions = Addition.objects.filter(collection__subscribers=user).values('book').annotate(user=Min('user'), collection=Min('collection')).order_by()

此查询将为您提供独特书籍的列表及其用户和收藏。书籍、收藏、用户将是 pk 的，而不是对象。但我希望您将它们存储在缓存中，这样就不会成为问题。

但对于您的工作量，我会考虑非规范化。我的查询非常很繁重，如果你要经常添加，缓存它的结果并不容易。我的第一种方法是将latest_additions 字段添加到Collection 模型并使用信号进行更新（不添加重复项）。此字段的格式由您决定。

Answer 4

有时可以使用 SQL，尤其是当仅 ORM 的解决方案性能不佳时。在 SQL 中很容易得到不重复的 Addition 行 ID，然后您可以切换回 ORM 来选择数据。这是两个查询，但会胜过我迄今为止看到的任何单一查询解决方案。

from django.db import connection
from operator import itemgetter
cursor = connection.cursor()

# Select non-duplicate book additions, preferring for most recently updated
query = '''SELECT id, MAX(updated) FROM %s
    GROUP BY book_id''' % Addition._meta.db_table
cursor.execute(query)

# Flatten the results to an id list
addition_ids = map(itemgetter(0), cursor.fetchall())

additions = Addition.objects.filter(
    collection__subscribers=user, id__in=addition_ids).select_related()