从聚类中获得的标签在视觉上看起来不正确答案

【问题标题】：Labels obtained from clustering seem visually incorrect从聚类中获得的标签在视觉上看起来不正确
【发布时间】：2021-02-07 04:32:54
【问题描述】：

我有以下基于 10 个数据点的距离矩阵：

import numpy as np

distance_matrix = np.array([[0.        , 0.00981376, 0.0698306 , 0.01313118, 0.05344448,
                             0.0085152 , 0.01996724, 0.14019663, 0.03702411, 0.07054652],
                            [0.00981376, 0.        , 0.06148157, 0.00563764, 0.04473798,
                             0.00905327, 0.01223233, 0.13140022, 0.03114453, 0.06215728],
                            [0.0698306 , 0.06148157, 0.        , 0.05693448, 0.02083512,
                             0.06390897, 0.05107812, 0.07539802, 0.04003773, 0.00703263],
                            [0.01313118, 0.00563764, 0.05693448, 0.        , 0.0408836 ,
                             0.00787845, 0.00799949, 0.12779965, 0.02552774, 0.05766039],
                            [0.05344448, 0.04473798, 0.02083512, 0.0408836 , 0.        ,
                             0.04846382, 0.03638932, 0.0869414 , 0.03579818, 0.0192329 ],
                            [0.0085152 , 0.00905327, 0.06390897, 0.00787845, 0.04846382,
                             0.        , 0.01284173, 0.13540522, 0.03010677, 0.0646998 ],
                            [0.01996724, 0.01223233, 0.05107812, 0.00799949, 0.03638932,
                             0.01284173, 0.        , 0.12310601, 0.01916205, 0.05188323],
                            [0.14019663, 0.13140022, 0.07539802, 0.12779965, 0.0869414 ,
                             0.13540522, 0.12310601, 0.        , 0.11271352, 0.07346808],
                            [0.03702411, 0.03114453, 0.04003773, 0.02552774, 0.03579818,
                             0.03010677, 0.01916205, 0.11271352, 0.        , 0.04157886],
                            [0.07054652, 0.06215728, 0.00703263, 0.05766039, 0.0192329 ,
                             0.0646998 , 0.05188323, 0.07346808, 0.04157886, 0.        ]])

我使用以下方法将distance_matrix 转换为affinity_matrix

delta = 0.1 
np.exp(- distance_matrix ** 2 / (2. * delta ** 2))

这给了

affinity_matrix = np.array([[1.        , 0.99519608, 0.7836321 , 0.99141566, 0.86691389,
                             0.99638113, 0.98026285, 0.37427863, 0.93375682, 0.77970427],
                            [0.99519608, 1.        , 0.82778719, 0.99841211, 0.90477015,
                             0.9959103 , 0.99254642, 0.42176757, 0.95265821, 0.82433657],
                            [0.7836321 , 0.82778719, 1.        , 0.85037594, 0.97852875,
                             0.81528476, 0.8777015 , 0.75258369, 0.92297697, 0.99753016],
                            [0.99141566, 0.99841211, 0.85037594, 1.        , 0.91982353,
                             0.99690131, 0.99680552, 0.44191509, 0.96794184, 0.84684633],
                            [0.86691389, 0.90477015, 0.97852875, 0.91982353, 1.        ,
                             0.88919645, 0.93593511, 0.68527137, 0.9379342 , 0.98167476],
                            [0.99638113, 0.9959103 , 0.81528476, 0.99690131, 0.88919645,
                             1.        , 0.9917884 , 0.39982486, 0.95569077, 0.81114925],
                            [0.98026285, 0.99254642, 0.8777015 , 0.99680552, 0.93593511,
                             0.9917884 , 1.        , 0.46871776, 0.9818083 , 0.87407117],
                            [0.37427863, 0.42176757, 0.75258369, 0.44191509, 0.68527137,
                             0.39982486, 0.46871776, 1.        , 0.52982057, 0.76347268],
                            [0.93375682, 0.95265821, 0.92297697, 0.96794184, 0.9379342 ,
                             0.95569077, 0.9818083 , 0.52982057, 1.        , 0.91719051],
                            [0.77970427, 0.82433657, 0.99753016, 0.84684633, 0.98167476,
                             0.81114925, 0.87407117, 0.76347268, 0.91719051, 1.        ]])

我将distance_matrix 转换为热图以获得更好的数据视觉效果

import seaborn as sns
distance_matrix_df = pd.DataFrame(distance_matrix)
distance_matrix_df.columns = [x + 1 for x in range(10))]
distance_matrix_df.index = [x + 1 for x in range(10)]
sns.heatmap(distance_matrix_df, cmap='RdYlGn_r', annot=True, linewidths=0.5)

接下来我想将affinity_matrix 分成 3 个集群。在运行实际聚类之前，我会检查热图以预测聚类。很明显，#8 是一个异常值，它本身就是一个集群。

接下来我运行实际的集群。

from sklearn.cluster import SpectralClustering    
clustering = SpectralClustering(n_clusters=3,
                            assign_labels='kmeans',
                            affinity='precomputed').fit(affinity_matrix)
clusters = clustering.labels_.copy()
clusters = clusters.astype(np.int32) + 1

产出产量

[1, 1, 2, 1, 2, 1, 1, 2, 3, 2]

因此，#8 是集群 2 的一部分，集群 2 由其他三个数据点组成。最初，我会假设它本身就是一个集群。我做错什么了吗？或者有人可以告诉我为什么#8 看起来像#3、#5 和#10。请指教。

【问题讨论】：

Clustering 是一种非监督学习，因此，它可能会如你所愿，也可能不会。我认为您应该尝试其他数量的集群（为什么选择 3 个？），所以看看 here 可能会有所帮助。有很多方法可以做到这一点，有些是可视的，有些是指标，但在假设最佳集群数量之前，您绝对应该看看这些方法。
感谢您的帮助。对于此特定项目，集群的数量将始终为 2 或 3。我知道在某种程度上会有惊喜，但在距离矩阵#8 看起来它在自己的星球上，对吧？
它们看起来确实可能与其他的不同，但距离确实很近（它们从 0 到 0.14），所以这可能是一个规模问题。如果他们与其他数据点一起落入集群，我不会太自责。真诚地，我会检查它们是否适合训练数据，并可能尝试其他聚类方法。他们都是无人监督的，所以你应该经常检查他们是否做了你所期望的（如果他们做了你没想到的事情，你能从中学到什么？）
好的，但为什么#9 本身就是一个集群？直觉上没有意义。我用于缩放来自 Ng、Jordan 和 Weiss 的启发式算法，您在其中循环一系列缩放因子并选择聚类后给出最紧密（最小失真）聚类的值。
这确实是一个好问题。也许您可以绘制它的两个向量 PCA 变换以进行可视化以试图弄清楚。抱歉，如果我没有提供太多帮助。

标签： python machine-learning scikit-learn cluster-analysis unsupervised-learning

【解决方案1】：

当我们放弃相对简单的聚类算法时，比如 k-means，我们对算法结果和预期行为的任何直觉都会崩溃；事实上，关于谱聚类的 scikit-learn documentation 给出了一个隐含的警告：

将聚类应用于归一化拉普拉斯算子的投影。

在实践中，光谱聚类在结构如下时非常有用单个簇是高度非凸的或更一般地，当集群的中心和散布的度量不是合适的完整集群的描述。例如，当集群二维平面上的嵌套圆。

现在，即使有人假装完全理解“规范化拉普拉斯算子的投影”的含义（我不会），但描述的其余部分可以说已经足够清楚，我们不应该在这里期望结果与更直观、基于距离的聚类算法（如 k-means）相似。

尽管如此，您自己的直觉并非没有根据，它表明您是否只是尝试使用 k-means 聚类而不是球形聚类；使用您的确切数据，我们得到

from sklearn.cluster import KMeans    
clustering = KMeans(n_clusters=3, random_state=42).fit(affinity_matrix)
clusters = clustering.labels_.copy()
clusters = clusters.astype(np.int32) + 1 
clusters
# result:
array([2, 2, 1, 2, 1, 2, 2, 3, 2, 1], dtype=int32)

确实，样本 #8 在它自己的集群 (#3) 中作为异常值脱颖而出。

尽管如此，同样的直觉并不一定适用于或对其他聚类算法有用，其价值可以说正是它们可以发现数据中不同种类的规律性——可以说，如果它们只是从现有的结果中复制结果，它们就不会那么有用像 k-means 这样的算法，对吗？

scikit-learn vignette Comparing different clustering algorithms on toy datasets 可能有助于了解不同聚类算法在一些玩具二维数据集上的行为方式；这是总结发现：

【讨论】：