另一个比 Elbow 有用的函数在寻找 k 簇时

Question

我尝试为机器学习中的 k-means 方法找到合适的 k 个集群。我使用了 Elbow 方法，但它耗时且复杂性高。谁能告诉我另一种方法来代替它。非常感谢

Answer 1

可用于评估聚类结果的指标是silhouette coefficient。这个值基本上是计算出来的：

silhouette coefficient = 1 - (intra-cluster cohesion) / (inter-cluster separation)

该值的范围从 -1 到 +1，但通常您希望值更接近 1.0。因此，如果您运行聚类算法（例如 k-means 或层次聚类）来生成 3 个聚类，则可以调用轮廓库来计算轮廓系数值，例如0.50。如果您再次运行算法以产生 4 个集群，您可以计算另一个轮廓系数值，例如0.55。然后您可以得出结论，4 个聚类是更好的聚类，因为它具有更高的轮廓系数。

下面是一个示例数据集，其中我使用 R 在二维空间中创建了三个不同的集群。注意：在集群之间存在如此明显的分离时，现实世界的数据永远不会看起来如此干净。即使是像 Fisher's Iris 数据集这样的简单数据，标记的集群之间也会有重叠。

然后您可以使用 R 的轮廓库来计算轮廓系数。 （更多信息可以在at the STHDA website找到。）下面是剪影信息图。您想要的一个指标位于左下角，上面写着“平均轮廓宽度：xxx”。该值是所有水平条的平均值。

这是 K=2 簇的轮廓系数。

plot(silhouette(kmeans(df, centers=2)$cluster, dist(df)))

这是 K=3 簇的轮廓系数。

plot(silhouette(kmeans(df, centers=3)$cluster, dist(df)))

这是 K=4 簇的轮廓系数。

plot(silhouette(kmeans(df, centers=4)$cluster, dist(df)))

通过查看轮廓系数，您可以得出结论，K=3 个聚类是最好的聚类，因为它具有最高的轮廓系数。

您可以通过简单地扫描多个候选 K 值（例如 2 到 10 之间）以编程方式找到最佳 K 值，同时跟踪找到的最高轮廓系数。下面我已经做到了这一点，同时还构建了轮廓系数（y 轴）与 K（x 轴）的关系图。输出显示：

最佳轮廓系数=0.888926 发生在 k=3

library(cluster) # for silhouette
library(ggplot2) # for ggplot
library(scales) # for pretty_breaks


# Create sample 2-D data set with clusters around the points (1,1), (2,4), and (3,1)
x<- c(rnorm(n=25, mean=1,sd=.1), rnorm(n=25,mean=2,sd=.1),rnorm(n=25,mean=3,sd=.2))
y<- c(rnorm(n=25, mean=1,sd=.1), rnorm(n=25,mean=4,sd=.1),rnorm(n=25,mean=1,sd=.2))

df <- data.frame(x=x, y=y)

xMax <- max(x)
yMax <- max(y)
print(ggplot(df, aes(x,y)) + geom_point() + xlim(0, max(xMax, yMax)) + ylim(0, max(xMax,yMax)))


# Use the Iris data set.
#df <- subset(iris, select=-c(Species))
#df <- scale(df)


# Run through multiple candidate values of K clusters.

xValues <- c() # Holds the kvalues (x-axis)
yValues <- c() # Holds the silhouette coefficient values (y-axis)
bestKValue <- 0
bestSilhouetteCoefficient <- 0

kSequence <- seq(2, 5)

for (kValue in kSequence) {

    xValues <- append(xValues, kValue)
    kmeansResult <- kmeans(df, centers=kValue, nstart=5)
    silhouetteResult <- silhouette(kmeansResult$cluster, dist(df))
    silhouetteCoefficient <- mean(silhouetteResult[,3])
    yValues <- append(yValues, silhouetteCoefficient)

    if (silhouetteCoefficient > bestSilhouetteCoefficient) {
        bestSilhouetteCoefficient <- silhouetteCoefficient
        bestKValue <- kValue
    }
}

# Create a dataframe for ggplot to plot the accumulated silhouette values.
dfSilhouette <- data.frame(k=xValues, silhouetteCoefficient=yValues)

# Create the ggplot line plot for silhouette coefficient.
silhouettePlot<- ggplot(data=dfSilhouette, aes(k)) +
    geom_line(aes(y=silhouetteCoefficient)) +
    xlab("k") +
    ylab("Average silhouette width") +
    ggtitle("Average silhouette width") +
    scale_x_continuous(breaks=pretty_breaks(n=20)) 

print(silhouettePlot)

printf <- function(...) cat(sprintf(...))
printf("Best Silhouette coefficient=%f occurred at k=%d", bestSilhouetteCoefficient, bestKValue )

请注意，我使用了答案 here 中的 printf 函数。

与您的相关问题是here。