事件伊始
线上监控告警,某服务进程占用内存超过9G。该服务使用docker运行,且启动命令设置-Xmx为2G。



查看GC记录,计算堆内存大小正常

查看内存块

判断为内存泄漏问题。
找到问题
使用jmap dump出hprof文件,使用MAT打开进行分析,直接提示潜在内存泄漏问题

系统中会使用到Font相关的就很快定位到是一个给图片加水印的功能,直接定位到具体方法了。
同时,搜索互联网相关文档信息,找到类似记录:
测试环境复现
在测试环境设置docker容器最大可用500M,压测对应接口,持续一段时间后出现无法分配内存错误,容器重启。现象是,开始时每次内存占用接近500M的时候,会进行FullGC, 内存清理后又从400多兆开始慢慢增加。最后到报无法分配内存的时候重启。

查看系统日志,已经能够直接定位到代码:

再将测试环境docker容器可用内存设置为2G,设置java启动参数-Xmx500M, 压测接口,复现了生产的场景:

修改代码复测
原代码中,每次请求进入方法,都会使用FontUtil.createFont(resource.getInputStream())创建新的Font对象,修改为使用单例模式,使Font对象为全局唯一,只加载一次。
修改后发布到测试环境再次压测,持续进行较长时间,内存占用稳定,GC次数正常,判断问题解决

1021

被折叠的 条评论
为什么被折叠?



