Python：对数据记录（元组列表）进行最近邻（或最接近匹配）过滤

Question

我正在尝试编写一个函数，该函数将使用“最近邻”或“最近匹配”类型算法过滤元组列表（模拟内存数据库）。

我想知道执行此操作的最佳（即大多数 Pythonic）方法。下面的示例代码希望能说明我正在尝试做的事情。

datarows = [(10,2.0,3.4,100),
            (11,2.0,5.4,120),
            (17,12.9,42,123)]

filter_record = (9,1.9,2.9,99) # record that we are seeking to retrieve from 'database' (or nearest match)
weights = (1,1,1,1) # weights to approportion to each field in the filter

def get_nearest_neighbour(data, criteria, weights):
    for each row in data:
        # calculate 'distance metric' (e.g. simple differencing) and multiply by relevant weight
    # determine the row which was either an exact match or was 'least dissimilar'
    # return the match (or nearest match)
    pass

if __name__ == '__main__':
    result = get_nearest_neighbour(datarow, filter_record, weights)
    print result

对于上面的sn-p，输出应该是：

(10,2.0,3.4,100)

因为它是传递给函数 get_nearest_neighbour() 的样本数据的“最近”。

那么我的问题是，实现 get_nearest_neighbour() 的最佳方式是什么？出于简洁等目的，假设我们只处理数值，并且我们使用的“距离度量”只是当前行中输入数据的算术减法。

Answer 1

开箱即用的简单解决方案：

import math

def distance(row_a, row_b, weights):
    diffs = [math.fabs(a-b) for a,b in zip(row_a, row_b)]
    return sum([v*w for v,w in zip(diffs, weights)])

def get_nearest_neighbour(data, criteria, weights):
    def sort_func(row):
        return distance(row, criteria, weights)
    return min(data, key=sort_func)

如果您需要处理庞大的数据集，您应该考虑切换到 Numpy 并使用 Numpy 的 KDTree 来查找最近的邻居。使用 Numpy 的优势在于，它不仅使用了更高级的算法，而且实现了高度优化的 LAPACK (Linear Algebra PACKage) 的顶部。

Answer 2

关于 naive-NN：

许多其他答案提出“朴素最近邻”，这是一个O(N*d)-per-query 算法（d 是维度，在这种情况下似乎是恒定的，所以它是 O(N)-per-query） .

虽然O(N)-per-query 算法非常糟糕，但如果你的算法少于以下任何一个（例如），你或许可以摆脱它：

• 10个查询和100000个点
• 100个查询和10000个点
• 1000个查询和1000个积分
• 10000 个查询和 100 个积分
• 100000 次查询和 10 分

---

比 naive-NN 做得更好：

否则，您将需要使用下列技术之一（尤其是最近邻数据结构）：

• http://en.wikipedia.org/wiki/Nearest_neighbor_search（很可能从该页面链接），链接的一些示例：

  • http://en.wikipedia.org/wiki/K-d_tree
  • http://en.wikipedia.org/wiki/Locality_sensitive_hashing
  • http://en.wikipedia.org/wiki/Cover_tree

尤其是如果您计划多次运行您的程序。很可能有可用的库。如果您有大量#queries * #points 的乘积，否则不使用 NN 数据结构将花费太多时间。正如用户 'dsign' 在 cmets 中指出的那样，您可以通过使用 numpy 库大概挤出一个很大的额外恒定速度因子。

但是，如果您可以避免使用易于实现的 naive-NN，那么您应该使用它。

Answer 3

在生成器上使用 heapq.nlargest 计算每条记录的距离*权重。

类似：

heapq.nlargest(N, ((row, dist_function(row,criteria,weight)) for row in data), operator.itemgetter(1))