使用 Django 将列表的每个元素与数据库中的每个元素进行比较的优化

Question

我正在 Django 1.10 中开展一个项目，我的一个应用程序要求我导入 500-100,000 个 IP 地址的列表，然后将这 500-100,000 个 IP 地址与 ~我的 SQLite3 数据库中存储了 25,000 多个 IP 地址。不幸的是，这需要相当长的时间，这是我非常需要减少的。

我的数据库包含一个 Host 表和一个名为 ipv4_address 的字段。

这里是相关的model.py：

class Host(models.Model):
    ipv4_address = models.GenericIPAddressField(protocol='ipv4', default='0.0.0.0', unique=True)

这是相关的views.py：

bad_ips = []
read_bad_ips = [ '500', 'to', '100000', 'ips', 'here', '...' ]

for ip in read_bad_ips:
    if Host.objects.filter(ipv4_address=ip).exists():
        bad_ips.append(Host.objects.get(ipv4_address=ip))

read_bad_ips 是 IP 地址列表，bad_ips 是我希望在数据库和read_bad_ips 列表中都存在的 IP 列表。

从views.py优化这个sn-p代码的最佳方法是什么？

谢谢！

编辑：@nik_m 的解决方案解决了这场危机！

read_bad_ips = [ '500', 'to', '100000', 'ips', 'here', '...' ]

addresses = Host.objects.values_list('ipv4_address', flat=True)

bad_ips = list(set(read_bad_ips).intersection(addresses))

Answer 1

你可以这样做：

bad_ips = Host.objects.filter(ipv4_address__in=read_bad_ips).values_list('ipv4_address', flat=True)

这将为您提供read_bad_ips 列表中的ipv4_address 值的列表（可能是空的，也可能不是）。

[编辑]： 由于您使用的是 sqlite 数据库并且此数据库有其局限性（由于您拥有大量值），您可以尝试以下操作：

for addr in Host.objects.values_list('ipv4_address', flat=True).iterator():
    if addr in read_bad_ips:
        bad_ips.append(addr)

[编辑 2]： 尝试使用set 的intersection 方法，像这样：

read_bad_ips = [ '500', 'to', '100000', 'ips', 'here', '...' ]
addresses = Host.objects.values_list('ipv4_address', flat=True)

bad_ips = list(set(read_bad_ips).intersection(addresses))