分层聚类预先计算的距离的成对距离矩阵

Question

我有一个用 pandas 制作的成对距离数据框：

#Get files
import glob
import itertools
one_dimension = glob.glob('*.pdb')

dataframe = []
for combo in itertools.combinations(one_dimension,2):
    pdb_1 = combo[0]
    pdb_2 = combo[1]
    entry = { 'pdb_1' : pdb_1, 'pdb_2', 'rmsd': get_rmsd(pdb_1,pdb_2)
    dataframe.append(entry)

import pandas
dataframe = Dataframe(dataframe)
dataframe

我要做的就是以这样一种方式对数据帧进行集群，其中所有集群都包含小于某个截止值（假设小于 2）的 pdb。我已经读过完整的链接是要走的路。

例如：

1. pdb_1,pdb_2 的 rmsd 为 1.56
2. pdb_3,pdb_2 的 rmsd 为 1.03
3. pdb_2, pdb_1 的 rmsd 为 1.60

所以它们都可以一起出现在一个集群中。但是，如果任何新的 pdb 尝试添加到集群中，如果集群中的任何成员 > 2，它将被拒绝。

我知道这是一个完整的与截止的链接。

我已经查看了scipy.cluster.hierarchy.linkage，但我很难格式化数组以进入链接。

• 完成这项任务的最佳方法是什么？

• 如何从我的数据框转到可供
  使用的东西 scipy.cluster?

• 我应该把它变成一个 R 数据框吗？

• 如果我将 到数组的成对距离。

我发现this、this和this问题类似，发现this tutorial

更新

根据cel的回答，我可以得到以下信息：

>>df

然后旋转

 pivot_table = df.pivot('pdb_1','pdb_2','rmsd').fillna(0)
 >>pivot_table

然后是数据数组

piv_arr = pivot_table.as_matrix()
dist_mat = piv_arr + np.transpose(piv_arr)
>>dist_mat

但是，我无法制作正方形，因为诊断不等于 0...

>>>squareform(dist_mat)

并且可以验证

>>dist_mat.diagonal()

Answer 1

这可能对你有用：

这些是我们需要的导入：

import scipy.cluster.hierarchy as hcl
from scipy.spatial.distance import squareform
import pandas as pd
import numpy as np

假设我们已经计算了距离矩阵，并决定以这种格式存储距离矩阵的上三角部分：

data = pd.DataFrame({
    "a": ["a1", "a1", "a2", "a3", "a2", "a1"],
    "b": ["a2", "a3", "a3", "a3", "a2", "a1"],
    "distance": [1,2,3, 0, 0, 0]
})

这是我们的数据框：

a   b   distance
0   a1  a2  1
1   a1  a3  2
2   a2  a3  3
3   a3  a3  0
4   a2  a2  0
5   a1  a1  0

使用DataFrame.pivot，我们可以将数据框转换为平方距离矩阵：

data_piv = data.pivot("a", "b", "distance").fillna(0)
piv_arr = data_piv.as_matrix()
dist_mat = piv_arr + np.transpose(piv_arr)

这会给我们：

array([[ 0.,  1.,  2.],
       [ 1.,  0.,  3.],
       [ 2.,  3.,  0.]])

这我们可以通过squareform 转换成一个压缩的距离矩阵并输入到链接算法中：

hcl.linkage(squareform(dist_mat))

这给了我们以下链接矩阵：

array([[ 0.,  1.,  1.,  2.],
       [ 2.,  3.,  2.,  3.]])