【问题标题】:Does Pyspark ML KMean have a way to get the explained variance?Pyspark ML KMean 是否有办法获得解释的方差?
【发布时间】:2017-09-04 05:07:30
【问题描述】:

当我阅读 Pyspark here 的 ML 包时,似乎 KMeanModel 无法计算解释方差以绘制肘形曲线,从而确定最佳集群数。

但是在this 示例中,用户似乎拥有computeCost() 函数。那个函数是从哪里来的?我的计划没有成功。

我使用的是 Spark 1.6。提前致谢!

【问题讨论】:

    标签: python pyspark k-means


    【解决方案1】:

    关于 pyspark 中的 computcost 方法,我遇到了同样的问题。

    您可以在应用 kmeans 之后使用 ma​​halanobis 距离或 WSSE,而不是使用 computecost。

    要计算距离,您必须编写代码并获取 各种结果,您可以绘制图表以查看拐点 最佳聚类数。

    Anomaly Detection Using PySpark 这个用例帮助我看看。

    【讨论】:

    • 感谢您的信息,似乎computecost >2.0 可用?我继续实施自己的。
    猜你喜欢
    • 2018-06-18
    • 2019-12-21
    • 1970-01-01
    • 2019-12-09
    • 1970-01-01
    • 2020-04-13
    • 2021-05-09
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多