Pyspark - WARN BisectingKMeans：输入 RDD 未直接缓存

Question

我将 kmeans 一分为二

bkm_test=BisectingKMeans().setK(5).setSeed(1)

rdf.cache()
assembled.cache()
model_test=bkm_test.fit(assembled)

当我不断收到错误时，我缓存了两个数据帧，但这并没有什么区别，我发现这个 question 与 kmeans 相似但很相似。 但我也在下面收到一个 WARN Executor 错误。这只是算法内部我无法修复的东西吗？

17/08/14 21:53:17 WARN BisectingKMeans: The input RDD 306 is not directly cached, which may hurt performance if its parent RDDs are also not cached.
17/08/14 21:53:17 WARN Executor: 1 block locks were not released by TID = 132:
[rdd_302_0]

Answer 1

这来自BisectingKMeans within MLlib，其中Spark ML uses internally。 MLlib 使用向量的 RDD，而 Spark ML 是面向 DataFrame 的，因此 BisectingKMeans converts your DataFrame into an RDD of Vector values 的 ML 版本。转换未缓存，因此您最终会收到错误消息。

希望这不是严重的放缓。我还没有找到一种简单的方法来强制缓存转换后的 RDD。