非堆 CMS Perm Gen 上的 DSE 垃圾收集需要很长时间

Question

我在 Datastax-enterprise 的 Cassandra/Solr 包中遇到了长时间的 GC 暂停（> 10 秒）。经过几天的监控，我发现它只发生在 CMS Perm Gen 的 GC 发生时，如图所示。当 PermGen GC 发生时，长 GC 发生在图表的每个拐点。而且每次 Perm Gen GC 启动时，都会有很长的暂停，导致客户端会话超时！

https://www.dropbox.com/s/qgdcurprvc1sees/permgen_gc.png

Heap GC 是正常的，没有停顿，只有在 Non-heap Perm Gen GC 中总是会出现长时间的停顿，这种情况总是发生在服务器非高峰时间。

![在此处输入图片描述][1]

DSE 使用的 JVM 选项：

-ea -javaagent:/usr/local/dse/resources/cassandra/lib/jamm-0.2.5.jar 
-XX:+UseThreadPriorities -XX:ThreadPriorityPolicy=42
-Xms16384M -Xmx16384M -Xmn5461M -XX:+HeapDumpOnOutOfMemoryError 
-Xss180k -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled 
-XX:SurvivorRatio=8 -XX:MaxTenuringThreshold=1
-XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly 
-Djava.net.preferIPv4Stack=true -Dcassandra.load_ring_state=false 
-Dcassandra-foreground=yes -Dsearch-service=true
-Dtomcat.logs=/var/log/dse/tomcat -DName=SI2_DSE
-Ddse.solr.data.dir=/data/solrIndexRamDisk
-Djava.library.path=/usr/local/dse/resources/hadoop/native/Linux-amd64-64/lib

JVM 信息

• 虚拟机：Java HotSpot(TM) 64 位服务器 VM 版本 20.12-b01
• 供应商：Sun Microsystems Inc.
• JIT 编译器：HotSpot 64 位分层编译器

堆信息

• 当前堆大小：10,247,153 KB
• 最大堆大小：16,218,048 KB
• 提交的内存：16,218,048 KB
• 待完成：{0} 个对象

虚拟机服务器信息

• 操作系统：Linux 2.6.32-279.1.1.el6.x86_64
• 架构：amd64
• 处理器数量：32
• 提交的虚拟内存：39,845,596 KB
• 总物理内存：99,018,824 KB
• 可用物理内存：58,184,572 KB
• 总交换空间：4,194,296 KB
• 可用交换空间：4,194,296 KB

Answer 1

如果你可以直接使用 Solr，你可以试试 Heliosearch，它试图解决堆外数据的 GC 暂停问题。

http://heliosearch.org/off-heap-filters/

Answer 2

使用-XX:+CMSClassUnloadingEnabled，它允许CMS收集器在oldgen GC期间清除permgen并卸载不再使用的类。 链接：http://blog.redfin.com/devblog/2012/06/cmsclassunloadingenabled-at-redfin.html#.UwWeO4XqPK0

使用 100 或 200 MB 的大小进行 perm 生成，而不是 60 MB。

试试看，如果能解决你的问题，分享一下