Scala 中并行集合的效率/可扩展性（图表）

Question

所以我一直在 Scala 中为我正在处理的图形项目使用并行集合，我已经定义了图形类的基础知识，它目前使用的是 scala.collection.mutable.HashMap，其中键是 @987654324 @ 并且值为ListBuffer[Int]（邻接列表）。 （编辑：此后已更改为ArrayBuffer[Int]

几个月前我在 C++ 中做过类似的事情，std::vector<int, std::vector<int> >。

我现在要做的是在图中的所有顶点对之间运行一个度量，所以在 C++ 中我做了这样的事情：

// myVec = std::vector<int> of vertices
for (std::vector<int>::iterator iter = myVec.begin(); iter != myVec.end(); ++iter) {
    for (std::vector<int>::iterator iter2 = myVec.begin(); 
        iter2 != myVec.end(); ++iter2) {
        /* Run algorithm between *iter and *iter2 */
    }
}

我在 Scala 中做了同样的事情，并行化，（或试图）这样做：

// vertexList is a List[Int] (NOW CHANGED TO Array[Int] - see below)
vertexList.par.foreach(u =>
  vertexList.foreach(v =>
    /* Run algorithm between u and v */
  )
)

C++ 版本显然是单线程的，Scala 版本有.par，所以它使用并行集合并且在 8 核（同一台机器）上是多线程的。然而，C++ 版本在大约 3 天内处理了 305,570 对，而 Scala 版本迄今为止仅在 17 小时内处理了 23,573 对。

假设我的math 正确，单线程 C++ 版本比 Scala 版本快大约 3 倍。 Scala 真的比 C++ 慢得多，还是我完全误用了 Scala（我最近才开始使用 Scala 编程大约有 300 页）？

谢谢！ -kstruct

编辑要使用 while 循环，我会做类似的事情吗..

// Where vertexList is an Array[Int]
vertexList.par.foreach(u =>
  while (i <- 0 until vertexList.length) {
    /* Run algorithm between u and vertexList(i) */
  }
}

如果你们的意思是对整个事情使用 while 循环，是否有相当于 .par.foreach 的 while？

EDIT2 等一下，那个代码甚至都不对——我的错。我将如何使用 while 循环并行化它？如果我有一些 var i 来跟踪迭代，那么不是所有线程都共享 i 吗？

Answer 1

从您的 cmets 中，我看到您在每个算法运行结束时更新了共享可变 HashMap。如果你随机化你的步行，共享的Random 也是一个争论点。

我推荐两个改变：

1. 使用 .map 和 .flatMap 返回不可变集合，而不是修改共享集合。
2. 使用ThreadLocalRandom（来自Akka 或Java 7）来减少随机数生成器的争用
3. 检查算法的其余部分以了解更多可能的争用点。
4. 您也可以尝试并行运行内部循环。但是，如果不了解您的算法，就很难知道这是否会有所帮助或有害。幸运的是，运行并行和顺序集合的所有组合非常简单；只需在下面的代码中切换出pVertexList 和vertexList。

类似这样的：

val pVertexList = vertexList.par
val allResult = for {
  u <- pVertexList
  v <- pVertexList
} yield {
  /* Run algorithm between u and v */
  ((u -> v) -> result)
}

值allResult 将是ParVector[((Int, Int), Int)]。您可以在其上调用.toMap 将其转换为Map。

Answer 2

为什么是可变的？我认为 Scala 2.9.x 上没有一个好的并行可变映射——特别是因为即将推出的 Scala 2.10 中添加了这样的数据结构。

另一方面...你有一个List[Int]？不要使用它，使用Vector[Int]。另外，您确定没有在其他地方浪费时间，将可变映射和缓冲区转换为不可变列表吗？ Scala 数据结构与 C++ 不同，因此您很可能会在代码的其他地方遇到复杂性问题。

最后，我认为dave 可能会在他问及争用时提出一些问题。如果你有争论，并行性很可能会让事情变慢。如果您不使其并行运行，它的运行速度有多快/慢？如果使其不并行使其更快，那么您很可能确实存在争用问题。

Answer 3

我对此并不完全确定，但我认为 foreach 循环中的 foreach 循环相当慢，因为会创建很多对象。见：http://scala-programming-language.1934581.n4.nabble.com/for-loop-vs-while-loop-performance-td1935856.html

尝试使用 while 循环重写它。

此外，列表仅对头部访问有效，数组可能更快。