如何在 python 中使用权重/密度执行集群？类似带权重的kmeans？

Question

我的数据是这样的：

powerplantname, latitude, longitude, powergenerated
A, -92.3232, 100.99, 50
B, <lat>, <long>, 10
C, <lat>, <long>, 20
D, <lat>, <long>, 40
E, <lat>, <long>, 5

我希望能够将数据聚集成 N 个簇（比如 3 个）。通常我会使用 kmeans：

import numpy as np

import matplotlib.pyplot as plt
from scipy.cluster.vq import kmeans2, whiten
coordinates= np.array([
           [lat, long],
           [lat, long],
            ...
           [lat, long]
           ])
x, y = kmeans2(whiten(coordinates), 3, iter = 20)  
plt.scatter(coordinates[:,0], coordinates[:,1], c=y);
plt.show()

这个问题是它没有考虑任何权重（在这种情况下，我的发电值）我希望我的集群考虑“发电”值，试图让集群不仅在空间上接近，但也有接近相对相等的总发电量。

我应该使用 kmeans（或其他方法）吗？还是我应该使用其他东西来解决这个问题会更好？

Answer 1

或者我应该用其他什么东西更好地解决这个问题？

为了同时考虑中心之间的地理距离和产生的功率，您应该定义一个适当的指标。下面的函数通过haversine formula 计算地球表面两点之间的距离，从它们的纬度和经度算起，并将生成的功率差的绝对值与加权因子相加。权重的大小决定了距离和功率差异在聚类过程中的相对影响。

import numpy as np

def custom_metric(central_1, central_2, weight=1):
    lat1, lng1, pow1 = central_1
    lat2, lng2, pow2 = central_2

    lat1, lat2, lng1, lng2 = np.deg2rad(np.asarray([lat1, lat2, lng1, lng2]))

    dlat = lat2 - lat1
    dlng = lng2 - lng1
    
    h = (1 - np.cos(dlat))/2. + np.cos(lat1)*np.cos(lat2)*(1 - np.cos(dlng))/2.
    km = 2*6371*np.arcsin(np.sqrt(h))
    
    MW = np.abs(pow2 - pow1)
    
    return km + weight*MW

我应该使用 kmeans（或其他方法）吗？

不幸的是，目前 SciPy 的 kmeans2 和 scikit-learn 的 KMeans 的实现只支持欧几里得距离。另一种方法是通过 SciPy 的集群包执行hierarchical clustering，以根据刚刚定义的指标对中心进行分组。

演示

让我们首先生成模拟数据，即 8 个具有随机值的中心的特征向量：

N = 8
np.random.seed(0)
lat = np.random.uniform(low=-90, high=90, size=N)
lng = np.random.uniform(low=-180, high=180, size=N)
power = np.random.randint(low=5, high=50, size=N)
data = np.vstack([lat, lng, power]).T

上面的sn-p产生的变量data的内容是这样的：

array([[   8.7864,  166.9186,   21.    ],
       [  38.7341,  -41.9611,   10.    ],
       [  18.4974,  105.021 ,   20.    ],
       [   8.079 ,   10.4022,    5.    ],
       [ -13.7421,   24.496 ,   23.    ],
       [  26.2609,  153.2148,   40.    ],
       [ -11.2343, -154.427 ,   29.    ],
       [  70.5191, -148.6335,   34.    ]])

要将这些数据分成三个不同的组，我们必须将data 和custom_metric 传递给linkage 函数（查看docs 以了解有关参数method 的更多信息），然后传递返回的与n_clusters=3 的cut_tree 函数的链接矩阵。

from scipy.cluster.hierarchy import linkage, cut_tree
Z = linkage(data, method='average', metric=custom_metric)
y = cut_tree(Z, 3).flatten()

因此我们得到每个中心的组成员身份（数组y）：

array([0, 1, 0, 2, 2, 0, 0, 1])

上述结果取决于weight 的值。如果您希望使用不同于1 的值（例如250），您可以像这样更改默认值：

def custom_metric(central_1, central_2, weight=250):

或者，您可以将调用linkage 中的参数metric 设置为lambda 表达式，如下所示：metric=lambda x, y: custom_metric(x, y, 250)。

最后，为了更深入地了解层次/凝聚聚类，您可以将其绘制为树状图：

from scipy.cluster.hierarchy import dendrogram
dendrogram(Z)

Answer 2

如果您正在寻找一种解决方案，您可以根据坐标形成集群，并且这些坐标的权重是幂，您可以添加 sample_weight=power。这将为您提供基于坐标的聚类，并且质心将倾向于聚类中权重较高的观测值

Answer 3

总结

OP 和答案之间似乎存在很多混淆。简要总结：

输入：

• 具有纬度/经度和发电量的发电厂 [3D 阵列]

期望的输出：

• 具有相似累积发电量的集群（发电厂组）
• 集群中的发电厂必须在地理位置上靠近/连贯

---

部分解决方案

• 任何 kmeans 实施（仅考虑地理邻近性和连贯性，不考虑权重）
• SciKit Learn 的加权 kmeans（尽管有 sample_weight-参数它不能对数据点进行加权，而只会将集群质心移动到集群的重心点
• accepted answer 不遵守输出条件 2（地理连贯性）

---

解决方案

我找到的唯一解决方案是this repo。令人困惑的是，它也被称为“加权 k 均值”，但它确实满足上述两个标准，而不是 SciKit Learn 的实现。

要开始克隆 repo 并运行 example.py。 对于我的用例，结果非常好。

一旦您将集群编号添加回原始数据框，不幸的是需要small hack，但它仍然有效。