对缓慢的 Jenkins 进行故障排除答案

【问题标题】：Troubleshooting slow Jenkins对缓慢的 Jenkins 进行故障排除
【发布时间】：2016-02-16 22:21:23
【问题描述】：

Jenkins 在查看作业页面时非常慢（超过 3 分钟，使用冷磁盘缓存）。主页显示正常；问题仅出现在查看单个作业的页面时。

我认为问题是从最近更新的 Jenkins+插件开始的，但是我该如何解决这样的问题呢？

如何解决此类问题？

【问题讨论】：

标签： jenkins jenkins-plugins

【解决方案1】：

重现问题

首先，确保您可以重现该问题。它有助于测试。如果仅在缓存冷时出现性能问题，那么clearing the disk cache（Linux 说明）可以提供帮助。

禁用或降级插件

Jenkins 的“管理插件”（在管理 Jenkins 部分下）允许您单独禁用和降级插件。如果您怀疑某个特定插件引起了问题，这可以帮助您确认。

使用 strace

strace 可以显示 Jenkins 正在执行的系统调用。首先，获取主 Jenkins PID：

root@server:~# ps -ef | grep jenkins
jenkins    589     1  0 17:03 ?        00:00:00 /usr/bin/daemon --name=jenkins --inherit --env=JENKINS_HOME=/home/jenkins --output=/var/log/jenkins/jenkins.log --pidfile=/var/run/jenkins/jenkins.pid --umask=027 -- /usr/bin/java -Djava.awt.headless=true -jar /usr/share/jenkins/jenkins.war --webroot=/var/cache/jenkins/war --httpPort=8080 --ajp13Port=-1
jenkins    591   589  7 17:03 ?        00:00:51 /usr/bin/java -Djava.awt.headless=true -jar /usr/share/jenkins/jenkins.war --webroot=/var/cache/jenkins/war --httpPort=8080 --ajp13Port=-1

（本例中 pid 为 591。）

接下来，运行 strace。因为 Jenkins 是多线程的，所以您需要添加 -f 来跟踪所有线程。

strace -p 591 -f

如果幸运的话，您会发现一个明显的减速原因。（在我的情况下，其中一个线程重复打开每个先前版本的 build.xml 以用于我试图查看的特定作业。）

使用 jstack

strace 监控系统调用并告诉你什么一个进程在做什么； jstack 显示进程的调用堆栈，它有助于告诉您为什么它正在这样做（它试图完成什么）。

jstack 需要一个 pid，并且需要以与您正在检查的进程相同的用户身份运行。（See here 了解更多详情。）

sudo -u jenkins jstack 591

这显示了很多信息：每个 Jenkins 线程的堆栈跟踪，库和框架代码（例如请求处理程序和 XML 等）的大量条目。不过，您应该能够在其中的某个地方找到堆栈跟踪运行缓慢的特定请求处理程序以及指示它正在尝试做什么的堆栈跟踪的某些部分。

【讨论】：