Spark GraphX 获取所有顶点之间的最短路径

Question

在 Spark GraphX 中，ShortestPaths 不采用 RDD 作为输入，而是采用 Seq

这意味着以下内容不起作用：

val paths = ShortestPaths.run(graph,graph.vertices)

但是我的图表太大而无法调用collect，我不想通过仅将其强制到驱动程序上来减慢速度。是否可以使用map 或aggregateMessages 解决此问题？还是我必须自己重写寻路代码？

Answer 1

我不得不承认你的目标对我来说没有意义。您是否正在寻找一张地图，使用简单的语言，顶点 -> 列表（其他顶点，到其他顶点的最短路径）？对我来说，最短路径问题总是涉及相对较小的顶点子集，所以Seq 对我来说很有意义。

无论如何，我认为您将需要使用 Pregel object 自己使用由 Google 的原始 Pregel paper 和 Facebook 的 Giraph 开创的批量同步并行方法来计算最短路径。 Here 是一篇关于在 GraphX 中使用 BSP 和 Pregel 进行最短路径的帖子。