匹配两个不同长度的数据帧中的最近值

Question

如果我有两个不同长度、不同标签和不同数字精度级别的数据框，如下所示：

df1 = pd.DataFrame({'a':np.array([1.2345,2.2345,3.2345]),'b':np.array([4.123,5.123,6.123])})
df2 = pd.DataFrame({'A':np.array([1.2346,2.2343]),'B':np.array([4.1232,5.1239])})

如何找到两个数据帧在“a”和“A”列之间具有近似匹配值的行（例如在 2 位精度内），从而产生这样的数据帧

      a         b         A         B
------------------------------------------------
 | 1.2345  |  4.123  |  1.2346  |  4.1232  |
 | 2.2345  |  5.123  |  2.2343  |  5.1239  |

尝试：

尝试 #1：

matches_df = pd.merge(df1, df2,  how='inner', left_on=['a'], right_on = ['A'])

这仅在“a”和“A”列之间存在完全匹配时才有效，但我不确定如何合并一个 fudge 因子以允许匹配精度在 2 位以内的行。

尝试 #2

matches_df = df1.loc[np.round(df1['a'],2)==np.round(df2['A'],2)]

这给出了错误“ValueError: Can only compare same-labeled Series objects”，因为 我认为这两个数据框有不同的标签（'a'、'b' 和 'A'、'B ')。

关于如何实现这一点的任何想法？

Answer 1

使用KDTree，您可以在m O(log n) 中找到最接近df1 的数学运算，其中n 是df2 和m 中元素的数量df1。

import pandas as pd
import numpy as np
from scipy.spatial import cKDTree

df1 = pd.DataFrame({'a':np.array([1.2345,2.2345,3.2345]),'b':np.array([4.123,5.123,6.123])})
df2 = pd.DataFrame({'A':np.array([1.2346,2.2343]),'B':np.array([4.1232,5.1239])})


def spatial_merge_NN(df1, df2, xyz=['A', 'B']):
    ''' Add features from df2 to df1, taking closest point '''
    tree = cKDTree(df2[xyz].values)
    dists, indices = tree.query(df1[['a','b']].values, k=1)
    fts = [c for c in df2.columns]
    for c in fts:
        df1[c] = df2[c].values[indices]
    return df1

df_new = spatial_merge_NN(df1, df2, ['A', 'B'])
#         a      b       A       B
# 0  1.2345  4.123  1.2346  4.1232
# 1  2.2345  5.123  2.2343  5.1239
# 2  3.2345  6.123  2.2343  5.1239

它放置一个数据帧常量（在本例中为 df1）并遍历 df2 并从 d2 中找到最接近的一对并添加该行。