Java 性能测试 [重复]答案

【问题标题】：Java Performance Testing [duplicate]Java 性能测试 [重复]
【发布时间】：2010-10-01 15:44:37
【问题描述】：

我想对 Java 应用程序进行一些计时测试。这就是我目前正在做的事情：

long startTime = System.currentTimeMillis();
doSomething();
long finishTime = System.currentTimeMillis();
System.out.println("That took: " + (finishTime - startTime) + " ms");

这样的性能测试有什么“错误”吗？有什么更好的方法？

重复：Is stopwatch benchmarking acceptable?

【问题讨论】：

您是在问“秒表”基准测试是否可行，还是在问这是否是正确的方法？
我真的很想回答这两个问题......但更倾向于“正确的方法来获得准确的结果”
题外话，确实不能解决您的问题，所以我会在评论中粘贴它。 Jon Bently 的谷歌演讲“Three Beautiful Quicksorts”是对算法性能和分析的一个非常有趣的观察。好玩的东西。 video.google.com/videoplay?docid=-1031789501179533828

标签： java performance performance-testing

【解决方案1】：

这种方法的一个缺陷是，执行doSomething() 所需的“实时”时间可能会因系统上正在运行的其他程序及其负载情况而有很大差异。这使得性能测量有些不精确。

假设代码是单线程的，跟踪执行代码所花费的时间的一种更准确的方法是查看线程在调用期间消耗的 CPU 时间。您可以使用 JMX 类来做到这一点；特别是ThreadMXBean。您可以从java.lang.management.ManagementFactory 检索ThreadMXBean 的实例，并且，如果您的平台支持它（大多数都支持），请使用getCurrentThreadCpuTime 方法代替System.currentTimeMillis 进行类似的测试。请记住，getCurrentThreadCpuTime 以纳秒为单位报告时间，而不是毫秒。

这是一个可用于执行测量的示例 (Scala) 方法：

def measureCpuTime(f: => Unit): java.time.Duration = {

  import java.lang.management.ManagementFactory.getThreadMXBean
  if (!getThreadMXBean.isThreadCpuTimeSupported)
    throw new UnsupportedOperationException(
      "JVM does not support measuring thread CPU-time")

  var finalCpuTime: Option[Long] = None
  val thread = new Thread {
    override def run(): Unit = {
      f
      finalCpuTime = Some(getThreadMXBean.getThreadCpuTime(
        Thread.currentThread.getId))
    }
  }
  thread.start()

  while (finalCpuTime.isEmpty && thread.isAlive) {
    Thread.sleep(100)
  }

  java.time.Duration.ofNanos(finalCpuTime.getOrElse {
    throw new Exception("Operation never returned, and the thread is dead " +
      "(perhaps an unhandled exception occurred)")
  })
}

（请随意将以上内容翻译成 Java！）

这种策略并不完美，但它受系统负载变化的影响较小。

【讨论】：

如果它有示例代码来演示如何编写测试，这个答案会更好。
@NoctisSkytower，我添加了一些示例代码（一种执行测量的方法）。不幸的是（或幸运的是？）它在 Scala 中；不过，请随时翻译和编辑答案。
@Daan 链接坏了。

【解决方案2】：

Japex 可能对您有用，可以作为快速创建基准测试的一种方式，也可以作为通过源代码研究 Java 基准测试问题的一种方式。

【讨论】：

链接一定已经移动了。 Japex 现在位于：japex.java.net

【解决方案3】：

我想您也想在开始计时之前执行 doSomething()，以便代码经过 JIT 处理并“预热”。

【讨论】：

【解决方案4】：

使用 Java Profiler 是最好的选择，它可以让您深入了解代码。即响应时间、线程调用跟踪、内存利用率等

我会推荐你JENSOR，一个开源的 Java Profiler，因为它易于使用并且没有 CPU 开销。您可以下载它，检测代码并获得您需要的有关代码的所有信息。

您可以从以下地址下载：http://jensor.sourceforge.net/

【讨论】：

【解决方案5】：

问题中显示的代码不是一个很好的性能测量代码：

编译器可能会选择通过重新排序语句来优化您的代码。是的，它可以做到这一点。这意味着您的整个测试可能会失败。它甚至可以选择内联被测方法并将测量语句重新排序到现在内联的代码中。
热点可能会选择重新排序语句、内联代码、缓存结果、延迟执行...
即使假设编译器/热点没有欺骗您，您测量的是“挂墙时间”。您应该测量的是 CPU 时间（除非您使用操作系统资源并希望也包括这些资源，或者您在多线程环境中测量锁竞争）。

解决方案？使用真正的分析器。周围有很多，包括免费的分析器和演示/广告强度的时间锁定试验。

【讨论】：

Hotspot 不仅会在某个时候编译代码，并进行您提到的优化，而且实际上它可能会在编译时进行多次尝试，并进行不同的优化：即计时重复可能意味着计时不同的代码！非常非常非常谨慎......
不想提供任何分析器选项？
@JohnRPerry 因为列表经常更改，而我喜欢的列表可能不适合您的需求，因此只需在 Google 上搜索 Java 分析器并自行解决此问题是安全的。就我个人而言，我喜欢使用 YourKit 进行重量级分析，使用 Java Microbenchmark Harness (JMH) 进行微测试。

【解决方案6】：

您是否查看过netbeans 和eclipse 中的分析工具。这些工具可以让您更好地处理代码中真正占用的时间。我发现了使用这些工具没有意识到的问题。

【讨论】：

【解决方案7】：

当您将一种实现与另一种实现进行比较或试图在代码中找到缓慢的部分时，这很好（尽管它可能很乏味）。这是一项非常好的技术，您可能会比其他任何技术都更频繁地使用它，但也要熟悉分析工具。

【讨论】：

【解决方案8】：

请记住，System.currentTimeMillis() 的分辨率因操作系统而异。我相信 Windows 大约是 15 毫秒。因此，如果您的 doSomething() 运行速度快于时间分辨率，您将获得 0 的增量。您可以在循环中多次运行 doSomething()，但随后 JVM 可能会对其进行优化。

【讨论】：

【解决方案9】：

这只是性能测试的一部分。根据您要测试的内容，您可能需要查看堆大小、线程数、网络流量或一大堆其他内容。否则，我会将这种技术用于简单的事情，我只是想看看它们需要运行多长时间。

【讨论】：