该博客记录了在YARN环境中NodeManager(NM)出现堆内内存泄漏的问题，主要表现为LocalFileSystem对象及其相关组件过多导致。问题源于NM的localizing机制，在启动container时进行资源下载。分析发现，LocalDirsHandlerService与ShuffleHandler使用了不同的Configuration对象，ShuffleHandler的conf在内部被克隆，当NM扫描磁盘更新conf时，ShuffleHandler的conf未同步更新，导致内存泄漏。解决方法涉及优化配置更新策略，确保两者配置一致性。
发现nm堆内存使用率过高：
<图一.1>
这里面可以看到老年代有大量对象未被回收。
<图一.2>
这里面有很多的这种对象，后面会一一指出他们为什么这么多。
而且横向比较这些nm的内存信息，会发现nm的内存的占用多少都是因为这些对象是线性增长的。
这些对象是在哪儿创建的呢?为什么不会被回收呢？
好的，先让我们放下这个问题，先来了解一下nm里面的localizing机制。
所谓localizing就是在启动container之前由nm负责做一些资源下载的操作。更具体一点就是container的Private类的资源下载：
比如：
<图二.1>
684
1389
2931
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
扫一扫
