【发布时间】:2017-09-04 05:07:30
【问题描述】:
当我阅读 Pyspark here 的 ML 包时,似乎 KMeanModel 无法计算解释方差以绘制肘形曲线,从而确定最佳集群数。
但是在this 示例中,用户似乎拥有computeCost() 函数。那个函数是从哪里来的?我的计划没有成功。
我使用的是 Spark 1.6。提前致谢!
【问题讨论】:
当我阅读 Pyspark here 的 ML 包时,似乎 KMeanModel 无法计算解释方差以绘制肘形曲线,从而确定最佳集群数。
但是在this 示例中,用户似乎拥有computeCost() 函数。那个函数是从哪里来的?我的计划没有成功。
我使用的是 Spark 1.6。提前致谢!
【问题讨论】:
关于 pyspark 中的 computcost 方法,我遇到了同样的问题。
您可以在应用 kmeans 之后使用 mahalanobis 距离或 WSSE,而不是使用 computecost。
要计算距离,您必须编写代码并获取 各种结果,您可以绘制图表以查看拐点 最佳聚类数。
Anomaly Detection Using PySpark 这个用例帮助我看看。
【讨论】: