【问题标题】:What is the time complexity of k-means?k-means的时间复杂度是多少?
【发布时间】:2013-09-09 03:49:28
【问题描述】:
我正在通过k-means Wikipedia page。基于算法,我认为复杂度是O(n*k*i)(n = 总元素,k = 集群迭代次数)
那么有人可以解释一下*的这句话吗?这个 NP 有多难?
如果k和d(维度)固定,问题就可以及时准确的解决O(n<sup>dk+1</sup> log n),其中n是要聚类的实体个数。
【问题讨论】:
标签:
algorithm
time-complexity
k-means
【解决方案1】:
这取决于你所说的k-意思。
寻找k-means目标函数的全局最优问题
是NP-hard,其中S<sub>i</sub>是簇i(并且有k簇),x<sub>j</sub>是簇d中的d维点S<sub>i</sub>和μ<sub>i</sub>是簇S<sub>i</sub> 的质心(点的平均值)。
但是,对于n(d-维)点,运行固定数量的 t 迭代 standard algorithm 只需要 O(t*k*n*d),其中 k 是质心(或集群)的数量)。这就是实际实现所做的(通常在迭代之间随机重新启动)。
标准算法仅逼近上述函数的局部最优值,我见过的所有 k 均值算法也是如此。
【解决方案2】:
在this answer中,注意i用在k-means目标公式中,i用在k-means的时间复杂度分析中(即直到收敛所需的迭代次数)是不同。