1、中国移动江苏公司Weblogic 健康优化建议报告报告人：赵伟杰报告日期：2013 年 08 月 27 日审核人：审核日期： 中国移动通信集团江苏有限公司2 / 9上周对应用系统进行巡检，问题主要存在于决策管理与局长平台两个系统中。主要工作说明存在问题与优化：管理决策应用启动时存在 servlet 加载过程出错，影响启动速度；决策管理 JDK 版本差异可能导致受管服务经常自动断开与主控的连接; 局长平台 JVM 进行 GC 优化。故障解决：管理决策应用首页报表无法显示的问题。详细的巡检报告如下决策管理系统一、存在问题1. 管理决策应用启动时存在 Servlet 加载过程中出错应用日志- Job
2、 execution threads will use class loader of thread: main- Quartz Scheduler v.1.5.1 created.4 / 9- RAMJobStore initialized.- Quartz scheduler DefaultQuartzScheduler initialized from default resource file in Quartz package: quartz.properties- Quartz scheduler version: 1.5.1问题定位根据错误的信息判断是由于应用启动的时候加载 Qu
3、artzInitializer 这个 servlet，这个 servlet有初始化 quartz 定时任务的作用，在 quartz.properties 中定义了使用的数据源：myDS ,但是 WebLogic 中是没有配置这个数据源的，因此报了相关的错误，请开发公司核对一下这些错误信息，既然这个数据源不起作用，请在配置文件或者程序中去掉对这个数据源的加载，以免影响应用的启动速度。2. 决策管理 JDK 版本差异可能导致受管服务经常自动断开与主控连接决策管理系统分别安装在 141.16.30.36 与 141.16.30.46 两台 AIX 操作系统的机器上，通过监控发现经常会出现受管的服务与
4、主控断开连接，导致主控无法对受管的服务进行连接检测、监控、发布等操作。应用日志# 39216K(458752K), 0.1084250 secs 393215K-39216K(1470464K), 0.1085510 secs20.876: GC 20.876: ParNew: 432432K-21071K(458752K), 0.1903290 secs 432432K-40862K(1470464K), 0.1904330 secs23.465: GC 23.465: ParNew: 414287K-13255K(458752K), 0.0792040 secs 434077K-33046
5、K(1470464K), 0.0793040 secs24.391: GC 24.391: ParNew: 406471K-13771K(458752K), 0.0310160 secs 426262K-33561K(1470464K), 0.0311460 secs29.740: GC 29.740: ParNew: 406987K-18716K(458752K), 0.0693540 secs 426777K-38506K(1470464K), 0.0694530 secs30.161: Full GC 30.161: ParNew: 56852K-13635K(458752K), 0.0
6、438380 secs30.205: CMS: 19790K-33354K(1011712K), 0.4998790 secs 76643K-33354K(1470464K), CMS Perm : 34070K-34000K(262144K), 0.5439120 secs90.732: Full GC 90.733: ParNew: 391640K-12418K(458752K), 0.0844650 secs90.817: CMS: 33354K-45142K(1011712K), 0.5793540 secs 424995K-45142K(1470464K), CMS Perm : 3
7、8480K-38452K(262144K), 0.6640360 secs151.415: Full GC 151.415: ParNew: 5805K-110K(458752K), 0.0047490 secs151.420: CMS: 45142K-41259K(1011712K), 0.5500330 secs 50948K-41259K(1470464K), CMS Perm : 38465K-38462K(262144K), 0.5549870 secs8 / 9内存使用状况问题定位系统运行的过程中不断的进行 FGC，而且过于频繁，查看 GC 日志是由于 permgen 区导致的 F
8、GC 进行。查看内存的使用状况，permgen 区的使用量并不大，不是由于 permgen 区不足导致的 FGC。 和开发人员沟通得知系统底层框架有用到 spring、hibernate。由于 spring和 hibernate 大量的采用了 cglib，导致生成的 proxy 会比较多，而这些存放在 permgen 区域的，Sun JDK 默认的情况下并不会去回收，因此出现了较为频繁的 FGC。频繁的进行 FGC 反映到前台的具体表现为：打开页面会频繁的出现卡顿的现象。优化增加对 permgen 区域的 gc 回收的参数 : -XX:+CMSPermGenSweepingEnabled -X
9、X:+CMSClassUnloadingEnabled，优化后的效果如下2296.620: GC 2296.620: ParNew: 26468K-250K(29504K), 0.0040210 secs 97819K-71603K(1532736K), 0.0041100 secs2299.196: GC 2299.196: ParNew: 26490K-278K(29504K), 0.0038650 secs 97843K-71632K(1532736K), 0.0039520 secs2301.926: GC 2301.926: ParNew: 26518K-219K(29504K),
10、0.0036600 secs 97872K-71574K(1532736K), 0.0037470 secs2304.353: GC 2304.353: ParNew: 26459K-224K(29504K), 0.0037790 secs 97814K-71587K(1532736K), 0.0038650 secs2307.165: GC 2307.165: ParNew: 26464K-246K(29504K), 0.0039930 secs 97827K-71609K(1532736K), 0.0040890 secs2309.915: GC 2309.915: ParNew: 264
11、86K-275K(29504K), 0.0035970 secs 97849K-71642K(1532736K), 0.0036850 secs2398.625: GC 2398.625: ParNew: 26515K-1375K(29504K), 0.0096440 secs 97882K-72752K(1532736K), 0.0097480 secs2722.147: GC 2722.147: ParNew: 27614K-1593K(29504K), 0.0101970 secs 98991K-72979K(1532736K), 0.0103000 secs9 / 9已经可以看 FGC 已经没有再频繁的进行了。
