使用 scala 运行 DBSCAN 源时，Spark 会导致内存错误。我们如何解决这个问题？

【问题标题】：Spark causes a memory error when running DBSCAN source using scala. How can we solve this?使用 scala 运行 DBSCAN 源时，Spark 会导致内存错误。我们如何解决这个问题？
【发布时间】：2018-01-31 21:01:00
【问题描述】：

我们使用了 100,000 个试剂盒。 spark的版本是1.6.1，scala是2.1.0。如何修复内存错误并获得良好的结果？

【问题讨论】：

尝试使用索引而不是 Spark 的 ELKI。

标签： scala apache-spark memory dbscan

【解决方案1】：

Spark 的各种 DBSCAN 插件都有问题。

授予此报告：

纽基兴，赫尔穆特。 “针对大数据和高性能计算范式的 DBSCAN 空间聚类实施的调查和性能评估。” （2016 年）。

对于像 Scala 这样的 JVM 语言，它应该很容易调用，例如ELKI 并获得了相当不错的表现。

【讨论】：