【发布时间】：2014-01-20 14:57:21
【问题描述】：
我又遇到了一个奇怪的问题。
假设我有以下虚拟数据框（通过演示我的问题）：
import numpy as np
import pandas as pd
import string
# Test data frame
N = 3
col_ids = string.letters[:N]
df = pd.DataFrame(
np.random.randn(5, 3*N),
columns=['{}_{}'.format(letter, coord) for letter in col_ids for coord in list('xyz')])
df
这会产生：
A_x A_y A_z B_x B_y B_z C_x C_y C_z
0 -1.339040 0.185817 0.083120 0.498545 -0.569518 0.580264 0.453234 1.336992 -0.346724
1 -0.938575 0.367866 1.084475 1.497117 0.349927 -0.726140 -0.870142 -0.371153 -0.881763
2 -0.346819 -1.689058 -0.475032 -0.625383 -0.890025 0.929955 0.683413 0.819212 0.102625
3 0.359540 -0.125700 -0.900680 -0.403000 2.655242 -0.607996 1.117012 -0.905600 0.671239
4 1.624630 -1.036742 0.538341 -0.682000 0.542178 -0.001380 -1.126426 0.756532 -0.701805
现在我想在这个熊猫数据框上使用scipy.spatial.distance.pdist。事实证明，这是一个相当不平凡的过程。 pdist 所做的是使用欧几里德距离（2-范数）作为点之间的距离度量来计算 m 个点之间的距离。这些点在矩阵 X (source) 中排列为 m 个 n 维行向量。
因此，要创建一个对 pandas 数据框进行操作的函数，需要做几件事，以便可以使用 pdist 函数。您会注意到，当点数变得非常大时，pdist 很方便。我尝试过自己制作，它适用于单行数据框，但理想情况下，我无法让它同时在整个数据框上工作。
这是我的尝试：
from scipy.spatial.distance import pdist, squareform
import numpy as np
import pandas as pd
import string
def Euclidean_distance(df):
EcDist = pd.DataFrame(index=df.index) # results container
arr = df.values # Store data frame values into a numpy array
tag_list = [num for elem in arr for num in elem] # flatten numpy array into single list
tag_list_3D = zip(*[iter(tag_list)]*3) # separate list into length = 3 sub-lists, that pdist() can work with
EcDist = pdist(tag_list_3D) # the distance between m points using Euclidean distance (2-norm)
return EcDist
首先，我开始以 pandas 形式创建一个结果容器，以存储结果。其次，我将 pandas 数据框保存为一个 numpy 数组，以便在下一步将其转换为列表形式。它必须是列表形式，因为pdist 函数只对列表进行操作。将数据框保存到数组中时，它将其存储为列表中的列表。这必须展平，保存在“tag_list”变量中。第三，将tag_list进一步缩减为长度为3的子列表，这样可以获得每个点的x，y和z坐标，可以用来找到所有这些点之间的欧几里得距离（在这个例子中有三个点：A、B 和 C 都是三维的）。
如上所述，如果数据框是单行，则该函数可以工作，但是在给定示例中使用该函数时，它会计算 5x3 点的欧几里得距离，总共产生 105 个距离。我想要它做的是计算每行的距离（所以 pdist 一次只能在 1x3 向量上工作）。这样我的最终结果，对于这个例子，看起来像这样：
dist_1 dist_2 dist_3
0 0.807271 0.142495 1.759969
1 0.180112 0.641855 0.257957
2 0.196950 1.334812 0.638719
3 0.145780 0.384268 0.577387
4 0.044030 0.735428 0.549897
（这些只是显示所需形状的虚拟数字）
因此，如何让我的函数以逐行方式应用于数据框？ 或者更好的是，我怎样才能让它一次在整个数据帧上执行该功能，然后将结果存储在一个新的数据帧中？
任何帮助将不胜感激。谢谢。
【问题讨论】：
-
你能具体说明你想要什么吗？您是说，对于 DataFrame 的每一行，您都需要一个新行，其中包含该行中三个点之间的成对距离？您似乎表示您希望将其扩展为更多点，但如果您每行添加更多点，您的 DataFrame 将变得非常笨拙。为什么不为每个点设置单独的行，并使用一个额外的列来指定“组 ID”？
-
你不能从
scipy.spatial.distance得到你想要的。我知道，因为我正在对其进行增强，以允许做你想做的事情，请参阅 PR here。也许在 0.14... -
@BrenBarn，好的，假设我有一个矩阵数组。数组的行包含空间中点的 3d 坐标，例如 [(x,y,z),...,(x,y,z)]。现在我想要一个函数来计算该行上所有这些点之间的欧几里得距离。进一步假设我想对矩阵的所有行做同样的事情。在我的情况下，我每行有 12 个点，因此如果我们将这些点视为完整图，那么将有 66 个（n（n-1）/12）条边。因此，我的问题是：如何执行这样的功能？
-
@Jaime;好的，谢谢。很高兴知道。我会尝试找出其他方法。干杯。
标签： python list numpy pandas scipy