如何找到合适的聚类算法？

Question

我想找到一种可以规避 k-Means 一些缺点的算法：

给定：

x<- c(4,4,5,5,6,7,8,9,9,10,2,3,3,4,5,6,6,7,8,8)
y<- c(2,3,3,4,4,5,5,7,6,8,4,5,6,5,7,8,9,9,9,10)

matrix<-cbind(x,y)# defining matrix
Kmeans<-kmeans(matrix,centers=2) # with 3 centroids

plot(x,y,col=Kmeans$cluster,pch=19,cex=2)
points(Kmeans$centers,col=1:3,pch=3,cex=3,lwd=3)

在这里我想要一个算法将数据聚类成两个簇，从左角到右角被对角线划分。

Answer 1

尝试mclust 包中的Mclust，它会尝试在您的数据上拟合高斯混合。 默认行为：

mc = Mclust(matrix);
points(t(mc$parameters$mean));
plot(mc);

.. 将找到 4 个组，但您可以将其强制为 2 或强制将高斯的相关结构向正确的方向拉伸。

请注意，除非您非常了解您希望他们成为 2 等的原因，否则很难解释和证明您的组的含义。

Answer 2

您的要求可以通过多种方式解决。这里有两个：

1. 第一种方法是简单地定义集群的分隔线。既然您知道应如何对您的点进行分组（按一条线），您就可以使用它。

如果你想让你的线从原点开始，那么只需检查 x > y:

x<- c(4,4,5,5,6,7,8,9,9,10,2,3,3,4,5,6,6,7,8,8)
y<- c(2,3,3,4,4,5,5,7,6,8,4,5,6,5,7,8,9,9,9,10)

thePoints <- cbind(x,y)


as.integer(thePoints[,1] > thePoints[,2])
[1] 1 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0

这会将对角线上方的点（从 0 开始）放在一组中，而将其他点放在另一组中。请记住，如果您的线路可能不通过原点 (0)，那么您必须稍微修改此示例。

1. 具有相关距离的 Kmeans：

K-means 函数：

myKmeans <- function(x, centers, distFun, nItter=10) {
    clusterHistory <- vector(nItter, mode="list")
    centerHistory <- vector(nItter, mode="list")

    for(i in 1:nItter) {
        distsToCenters <- distFun(x, centers)
        clusters <- apply(distsToCenters, 1, which.min)
        centers <- apply(x, 2, tapply, clusters, mean)
        # Saving history
        clusterHistory[[i]] <- clusters
        centerHistory[[i]] <- centers
    }

    list(clusters=clusterHistory, centers=centerHistory)
}

与相关距离：

myCor <- function(points1, points2) {
    return(1 - ((cor(t(points1), t(points2))+1)/2))
}

theResult <- myKmeans(mat, centers, myCor, 10)

也显示了HERE

这两种解决方案的外观如下：

plot(points, col=as.integer(points[,1] > points[,2])+1, main="Using a line", xlab="x", ylab="y")
plot(points, col=theResult$clusters[[10]], main="K-means with correlation clustering", xlab="x", ylab="y")
points(theResult$centers[[10]], col=1:2, cex=3, pch=19)

所以更多的是关于你使用什么样的距离度量，而不是关于 K-means 的某种缺陷。

您还可以找到具有 R 相关距离的 K-means 的更好实现，而不是使用我在此处提供的实现。