使用定制的距离函数从 Pandas Dataframe 创建距离矩阵答案

【问题标题】：Create a distance matrix from Pandas Dataframe using a bespoke distance function使用定制的距离函数从 Pandas Dataframe 创建距离矩阵
【发布时间】：2023-12-03 12:49:01
【问题描述】：

我有一个包含两列“id”（唯一标识符）和“日期”的 Pandas 数据框，如下所示：

test_df.head()

    id  date
0   N1  2020-01-31
1   N2  2020-02-28
2   N3  2020-03-10

我创建了一个自定义 Python 函数，给定两个日期字符串，它将计算这些日期之间的绝对天数（使用给定的日期格式字符串，例如 %Y-%m-%d），如下所示：

def days_distance(date_1, date_1_format, date_2, date_2_format):
    """Calculate the number of days between two given string dates

    Args:
        date_1 (str): First date
        date_1_format (str): The format of the first date
        date_2 (str): Second date
        date_2_format (str): The format of the second date

    Returns:
        The absolute number of days between date1 and date2
    """

    date1 = datetime.strptime(date_1, date_1_format)
    date2 = datetime.strptime(date_2, date_2_format)
    return abs((date2 - date1).days)

我想创建一个距离矩阵，用于计算所有 ID 对之间的天数。使用上面的test_df 示例，最终的时间距离矩阵应如下所示：

    N1    N2    N3
N1  0     28    39
N2  28    0     11
N3  39    11    0

我正在努力寻找一种使用定制距离函数计算距离矩阵的方法，例如上面我的 days_distance() 函数，而不是 SciPy 提供的标准距离度量。

有什么建议吗？

【问题讨论】：

使用pdist可以轻松生成时间距离矩阵，无需应用自定义函数..不知道为什么需要在这里应用自定义函数..有什么具体原因吗？
嗨@ShubhamSharma 感谢您的回复。如果我可以在没有自定义函数的情况下做到这一点，那没关系，但是您能否提供一个示例，说明如何使用pdist 将我的数据帧转换为时间距离矩阵？阅读docs.scipy.org/doc/scipy/reference/generated/… 的 pdist 文档，我看不到可以显式计算时间距离的内置指标。

标签： python-3.x pandas matrix distance adjacency-matrix

【解决方案1】：

让我们尝试pdist + squareform 创建一个表示日期时间对象之间的成对差异的平方距离矩阵，最后从这个平方矩阵创建一个新的数据框：

from scipy.spatial.distance import pdist, squareform

i, d = test_df['id'].values, pd.to_datetime(test_df['date'])
df = pd.DataFrame(squareform(pdist(d[:, None])), dtype='timedelta64[ns]', index=i, columns=i)

您也可以使用numpy 广播来计算距离矩阵：

i, d = test_df['id'].values, pd.to_datetime(test_df['date']).values 
df = pd.DataFrame(np.abs(d[:, None] - d), index=i, columns=i)

        N1      N2      N3
N1  0 days 28 days 39 days
N2 28 days  0 days 11 days
N3 39 days 11 days  0 days

【讨论】：

嗨，Shubham，太棒了，非常感谢！我对pdist 和squareform 都不熟悉，所以这确实有助于我的理解。谢谢。
很高兴我能帮上忙 :)..如果您需要数据框中的数值而不是 timedelta 值，您可以简单地将数据框 df 除以 pd.Timedelta(days=1) 即 @987654334 @

【解决方案2】：

您可以将日期列转换为日期时间格式。然后从该列创建 numpy 数组。然后创建一个矩阵，数组重复 3 次。然后用它的转置减去矩阵。然后将结果转换为数据框

import pandas as pd
import numpy as np
from datetime import datetime

test_df = pd.DataFrame({'ID': ['N1', 'N2', 'N3'],
                    'date': ['2020-01-31', '2020-02-28', '2020-03-10']})
test_df['date_datetime'] = test_df.date.apply(lambda x : datetime.strptime(x, '%Y-%m-%d'))

date_array = np.array(test_df.date_datetime)

date_matrix = np.tile(date_array, (3,1))
date_diff_matrix = np.abs((date_matrix.T - date_matrix))

date_diff = pd.DataFrame(date_diff_matrix)
date_diff.columns = test_df.ID
date_diff.index = test_df.ID

>>> ID  N1      N2       N3
    ID          
    N1  0 days  28 days 39 days
    N2  28 days 0 days  11 days
    N3  39 days 11 days 0 days

【讨论】：