一个 scala 程序比相应的 python 脚本慢得多

Question

我编写了一个简短的 Scala 程序来读取一个大文件，对其进行处理并将结果存储在另一个文件中。该文件包含大约 60000 行数字，我只需要从第三行中提取第一个数字。最终，我将这些数字保存到另一个文件中。虽然是数字，但我一直把它们当作字符串。

这是 Scala 代码：

import scala.io.Source
import java.io.BufferedWriter
import java.io.FileWriter

object Analyze {
  def main(args: Array[String]) {
      val fname = "input.txt"

      val counters = Source.fromFile(fname).mkString.split("\\n").grouped(3)
        .map(_(2).split("\\s+")(0))

      val f = new BufferedWriter(new FileWriter("output1.txt"))
      f.write(counters.reduceLeft(_ + "\n" + _))
      f.close()
  }
}

我非常喜欢 Scala 强大的 one liner 的能力。上述代码中的 one-liner 从文件中读取整个文本，将其拆分为行，将行分组为 3 行一组，然后从每组中取出第三行，将其拆分并取第一个数字。

这是等效的python脚本：

fname = 'input.txt'

with file(fname) as f:
    lines = f.read().splitlines()
    linegroups = [lines[i:i+3] for i in range(0, len(lines), 3)]
    nums = [linegroup[2].split()[0] for linegroup in linegroups]

with file('output2.txt', 'w') as f:
    f.write('\n'.join(nums))    

Python 不具备这样的一种衬里。在上面的脚本中，第一行代码将文件读入行列表，下一行将行分成 3 组，下一行创建一个列表，其中包含每组最后一行的第一个数字。它与 Scala 代码非常相似，只是运行速度要快得多。

python 脚本在我的笔记本电脑上运行只需几分之一秒，而 Scala 程序运行 15 秒！我注释掉了将结果保存到文件的代码，持续时间下降到 5 秒，这仍然太慢了。我也不明白为什么将数字保存到文件需要这么长时间。当我处理较大的文件时，python 脚本运行了几秒钟，而 Scala 程序的运行时间是几分钟，我不能用它来分析我的文件。

感谢您对此问题的建议。 谢谢

Answer 1

我冒昧地清理了代码，这应该通过避免初始 mkString 来更有效地运行，不需要正则表达式来执行空格拆分，并且在写出结果之前不预先聚合结果。我还使用了更好的自我记录方法：

val fname = "input.txt"
val lines = (Source fromFile fname).getLines
val counters =
  (lines grouped 3 withPartial false) map { _.last takeWhile (!_.isWhitespace) }

val f = new BufferedWriter(new FileWriter("output1.txt"))
f.write(counters mkString "\n")
f.close()

警告，未经测试的代码

但这在很大程度上无关紧要，具体取决于您的分析方式。如果您在指标中包含 JVM 启动时间，那么所有的赌注都没有了——再多的代码优化也无济于事。

我通常还建议通过在计时之前运行例程几百次来预热 JVM，但这在文件 I/O 方面不太实用。

Answer 2

我对 Kevin 提供的版本进行了少量修改（删除了 withPartial，因为 python 版本也不处理填充）：

import scala.io.Source
import java.io.BufferedWriter
import java.io.FileWriter

object A extends App {

  val fname = "input.txt"
  val lines = (Source fromFile fname).getLines
  val counters =
    (lines grouped 3) map { _.last takeWhile (!_.isWhitespace) }

  val f = new BufferedWriter(new FileWriter("output1.txt"))
  f.write(counters mkString "\n")
  f.close()
}

这里有 60,000 行的时间：

$ time scala -cp classes A

real    0m2.823s

$ time /usr/bin/python A.py

real    0m0.437s

有 900,000 行：

$ time scala -cp classes A

real    0m5.226s

$ time /usr/bin/python A.py

real    0m3.319s

有 2,700,000 行：

$ time scala -cp classes A

real    0m9.516s

$ time /usr/bin/python A.py

real    0m10.635s

此后，scala 版本的性能优于 python 版本。所以看起来有些长的时间是由于 JVM 初始化和 JIT 编译时间。

Answer 3

除了@notan3xit 的回答，您还可以将计数器写入文件而不先连接它们：

  val f = new BufferedWriter(new FileWriter("output1.txt"))
  f.write(counters.head.toString)
  counters.tail.foreach(c => f.write("\n" + c.toString))
  f.close()

虽然你可以在 Python 中做同样的事情......

Answer 4

试试这个代码写入文件：

val f = new java.io.PrintWriter(new java.io.File("output1.txt"))
f.write(counters.reduce(_ + "\n" + _))
f.close()

快得多。