【问题标题】:What is the time complexity of k-means?k-means的时间复杂度是多少?
【发布时间】:2013-09-09 03:49:28
【问题描述】:

我正在通过k-means Wikipedia page。基于算法,​​我认为复杂度是O(n*k*i)n = 总元素,k = 集群迭代次数)

那么有人可以解释一下*的这句话吗?这个 NP 有多难?

如果kd(维度)固定,问题就可以及时准确的解决O(n<sup>dk+1</sup> log n),其中n是要聚类的实体个数。

【问题讨论】:

    标签: algorithm time-complexity k-means


    【解决方案1】:

    这取决于你所说的k-意思。

    寻找k-means目标函数的全局最优问题

    是NP-hard,其中S<sub>i</sub>是簇i(并且有k簇),x<sub>j</sub>是簇d中的d维点S<sub>i</sub>μ<sub>i</sub>是簇S<sub>i</sub> 的质心(点的平均值)。

    但是,对于nd-维)点,运行固定数量的 t 迭代 standard algorithm 只需要 O(t*k*n*d),其中 k 是质心(或集群)的数量)。这就是实际实现所做的(通常在迭代之间随机重新启动)。

    标准算法仅逼近上述函数的局部最优值,我见过的所有 k 均值算法也是如此。

    【讨论】:

      【解决方案2】:

      this answer中,注意i用在k-means目标公式中,i用在k-means的时间复杂度分析中(即直到收敛所需的迭代次数)是不同。

      【讨论】:

        【解决方案3】:

        这个问题是 NP-Hard 问题,因为还有另一个众所周知的 NP-Hard 问题可以简化为(平面)k-means 问题。查看论文The Planar k-means Problem is NP-hard(由 Mahajan 等人撰写)了解更多信息。

        【讨论】: