spark 1.2.0 mllib kmeans：内存不足错误

Question

我是spark新手，我使用KMeans算法对一个数据集进行聚类，大小为484M，213104维，我的代码如下：

val k = args(0).toInt
val maxIter = args(1).toInt
val model = new KMeans().setK(k).setMaxIterations(maxIter).setEpsilon(1e-1).run(trainingData)
val modelRDD = sc.makeRDD(model.clusterCenters)
val saveModelPath = "/home/work/kMeansModel_" + args(0)
if(Files.exists(Paths.get(saveModelPath))) {
  FileUtils.deleteDirectory(new File(saveModelPath))
}
modelRDD.saveAsTextFile(saveModelPath)
val loss = model.computeCost(trainingData)
println("Within Set Sum of Squared Errors = " + loss)

当我设置 K = 150 时，它可以工作，但是当我设置 K = 300 时，它会抛出 java.lang.OutOfMemoryError: Java heap space 异常。我的配置：

--executor-memory 30G --driver-memory 4G --conf spark.shuffle.spill=false --conf spark.storage.memoryFraction=0.1

Answer 1

您应该告诉我们更多关于环境的信息。您是在真实集群中运行，还是在本地模式下运行？

既然你说你是 Spark 的新手，我假设你只是在本地机器上玩。在这种情况下，我认为这个post可以帮助到你。

更新

你的错误并不是真正的OOM，而是堆空间异常。你缓存了你的 RDD 吗？