java实时监听GC

背景

本文旨在解决发生gc时,程序能实时感知到,并且能知道本次gc的类型(full gc还是),造成的原因等详细数据。因为是试试感知的,当发生gc时,把当前的线程栈,和当前堆统计信息、堆转储文件保存下来,方便排查问题,防止我们排查问题时程序已经恢复,导致无法定位问题。

监控jvm

java提供了一种标准化的方法来管理和监控Java应用程序,就是Java Management Extensions(JMX)。JMX提供了很多称为 MBeans(Managed Beans)的管理组件,这些组件充当被管理资源的代理,并通过 JMX 接口公开资源的操作和属性。通过 MBeans,您可以监控和管理各种 Java 应用程序和服务器的性能、状态和配置。如ThreadMXBean,可以获取线程的执行时间,线程数量等等。实际上基本所有的jvm监控平台,像普罗米修斯等都是通过JXM采集的jvm的数据。
还有java自带的jconsole工具也是这样采集的,下面我来用jconsole来演示下

首先增加java的启动参数
-Dcom.sun.management.jmxremote 
-Djava.rmi.server.hostname=服务的ip 
-Dcom.sun.management.jmxremote.port=随便一个端口 
-Dcom.sun.management.jmxremote.ssl=false 
-Dcom.sun.management.jmxremote.authenticate=false
这样就开启了一个JMX的远程连接服务

然后用jconsole命令连接到服务
jconsole 上面设置的ip:上面设置的端口

这样就打开了一个窗口,里面会每3秒通过JMX统计一下jvm的运行情况

也可以自定义我们自己的监控,像阿里的druid

GarbageCollectorMXBean

这个bean就是JXM提供的GC数据,通过这个bean我们可以获取gc的收集次数(java.lang.management.GarbageCollectorMXBean#getCollectionCount),收集的总时间(java.lang.management.GarbageCollectorMXBean#getCollectionTime)。有些gc监控就是用的这两个方法,通过一个定时程序,比如每隔1秒就获取一次gc的收集次数,然后减去上次获取的收集次数,就能知道在这1秒内,发生了几次gc。而且jvm内一般会有多个GarbageCollectorMXBean,因为jvm有多个收集器(如年轻代,老年代)。用年轻代的GarbageCollectorMXBean就能获取年轻代的收集次数,用老年代的GarbageCollectorMXBean就能获取老年代的收集次数。不过这种定时统计一次的方式,有些弊端,不够实时,能获取到的gc数据有限,所以我们用另一种方式来实时感知gc,并获取足够详细的gc数据

GarbageCollectorMXBean监听器

GarbageCollectorMXBean提供了gc的监听器,可以监听GarbageCollectorMXBean,当发生gc时会回调我们的方法,并把本次gc的数据回传过来

        List<GarbageCollectorMXBean> beanList = ManagementFactory.getGarbageCollectorMXBeans();
        beanList.stream().filter(NotificationEmitter.class::isInstance).forEach(gcMxBean -> {
            String gcType = getGcTypeByGcName(gcMxBean.getName());
            if (!GC_OLD.equals(gcType)) {
                return;
            }
            NotificationEmitter emitter = (NotificationEmitter) gcMxBean;
            // 注册监听器来监听Full GC事件
            emitter.addNotificationListener((notification, handback) -> {
                Object userData = notification.getUserData();
                if (!(userData instanceof CompositeData)) {
                    log.warn("GcMonitor userData is not a CompositeData userData:{}", JSON.toJSONString(userData));
                    return;
                }
                CompositeData cd = (CompositeData) userData;
                GarbageCollectionNotificationInfo info = GarbageCollectionNotificationInfo.from(cd);
                String gcCause = info.getGcCause();
               
            }, notification -> GarbageCollectionNotificationInfo.GARBAGE_COLLECTION_NOTIFICATION.equals(notification.getType()), null);
        });


private static String getGcTypeByGcName(String gcName) {
        if ("Copy".equals(gcName)
                || "PS Scavenge".equals(gcName)
                || "ParNew".equals(gcName)
                || "G1 Young Generation".equals(gcName)) {
            return GC_YOUNG;
        }
        if ("MarkSweepCompact".equals(gcName)
                || "PS MarkSweep".equals(gcName)
                || "ConcurrentMarkSweep".equals(gcName)
                || "G1 Old Generation".equals(gcName)
                || "ZGC".equals(gcName)) {
            return GC_OLD;
        }
        return null;
    }

这里能获取到的信息就多了

如gc名。gc动作,gc原因,gc收集前后的堆内存情况等等

我们通过gcCause,就能知道这次gc到底是什么,是否是full gc,因为cms收集器,fullgc和oldgc用的都是用一个GarbageCollectorMXBean,这时候就可以通过gcCause来判断本次gc是什么类型的gc

这里我用一个枚举列举了那些gccause是full gc

@Getter
@AllArgsConstructor
public enum GcCauseEnum {

    SYSTEM_GC(true, "System.gc()"),
    FULL_GC_ALOT(true, "FullGCAlot"),
    SCAVENGE_ALOT(false, "ScavengeAlot"),
    ALLOCATION_PROFILER(false, "Allocation Profiler"),
    JVM_TI_FORCE_GC(true, "JvmtiEnv ForceGarbageCollection"),
    GC_LOCKER(true, "GCLocker Initiated GC"),
    HEAP_INSPECTION(true, "Heap Inspection Initiated GC"),
    HEAP_DUMP(true, "Heap Dump Initiated GC"),
    WB_YOUNG_GC(false, "WhiteBox Initiated Young GC"),
    WB_CONC_MARK(false, "WhiteBox Initiated Concurrent Mark"),
    WB_FULL_GC(true, "WhiteBox Initiated Full GC"),
    NO_GC(false, "No GC"),
    ALLOCATION_FAILURE(true, "Allocation Failure"),
    TENURED_GENERATION_FULL(true, "Tenured Generation Full"),
    METADATA_GC_THRESHOLD(true, "Metadata GC Threshold"),
    METADATA_GC_CLEAR_SOFT_REFS(true, "Metadata GC Clear Soft References"),
    CMS_GENERATION_FULL(true, "CMS Generation Full"),
    CMS_INITIAL_MARK(true, "CMS Initial Mark"),
    CMS_FINAL_REMARK(true, "CMS Final Remark"),
    CMS_CONCURRENT_MARK(false, "CMS Concurrent Mark"),
    OLD_GENERATION_EXPANDED_ON_LAST_SCAVENGE(false, "Old Generation Expanded On Last Scavenge"),
    OLD_GENERATION_TOO_FULL_TO_SCAVENGE(true, "Old Generation Too Full To Scavenge"),
    ADAPTIVE_SIZE_POLICY(true, "Ergonomics"),
    G1_INC_COLLECTION_PAUSE(false, "G1 Evacuation Pause"),
    G1_HUMONGOUS_ALLOCATION(false, "G1 Humongous Allocation"),
    DC_MD_GC_RUN(false, "Diagnostic Command"),
    LAST_GC_CAUSE(false, "ILLEGAL VALUE - last gc cause - ILLEGAL VALUE"),
    ZGC_PROACTIVE(false, "Proactive"),
    ZGC_ALLOCATION_RATE(false, "Allocation Rate"),
    ZGC_ALLOCATION_STALL(false, "Allocation Stall");

    private final boolean fullGc;
    private final String desc;

    public static GcCauseEnum getByDesc(String desc) {
        return Arrays.stream(GcCauseEnum.values()).filter(e ->
                e.getDesc().equals(desc)).findFirst().orElse(null);
    }
}

gc后我们能做什么

感知到gc了,我们就可以,发送告警,打印当前栈,保存对转储存文件,保存堆对象统计信息

1.保存堆转储文件

有两种方式保存堆转储文件,这两种生成的文件和jmap -dump命令一样

1.使用HotSpotDiagnosticMXBean

HotSpotDiagnosticMXBean hotSpotDiagnosticMXBean = ManagementFactory.newPlatformMXBeanProxy(server
                    , "com.sun.management:type=HotSpotDiagnostic", HotSpotDiagnosticMXBean.class);
            hotSpotDiagnosticMXBean.dumpHeap("文件地址",false);

2.使用HotSpotDiagnosticMXBean修改jvm参数                

修改jvm参数HeapDumpBeforeFullGC为true,使下次发生full gc后dump出文件
HotSpotDiagnosticMXBean hotSpotDiagnosticMXBean = ManagementFactory.newPlatformMXBeanProxy(server
                    , "com.sun.management:type=HotSpotDiagnostic", HotSpotDiagnosticMXBean.class);
hotSpotDiagnosticMXBean.setVMOption("HeapDumpBeforeFullGC", "true");

2.统计堆内对象信息

使用HotSpotVirtualMachine以attach的方式统计对象信息,效果和jmap -histo pid一样。

            RuntimeMXBean runtimeMXBean = ManagementFactory.getRuntimeMXBean();
            String name = runtimeMXBean.getName();
            String pid = name.split("@")[0];
            VirtualMachine virtualMachine = VirtualMachine.attach(pid);
            HotSpotVirtualMachine hotSpotVirtualMachine = (HotSpotVirtualMachine) virtualMachine;
        try {
            Path targetPath = Paths.get("保存统计信息的路径");
            try (InputStream is = hotSpotVirtualMachine.heapHisto("-all")) {
                Files.copy(is, targetPath, StandardCopyOption.REPLACE_EXISTING);
            }
        } catch (Exception e) {
            log.error("dumpHeapHISTO error", e);
        }

                   

内容概要:本文提出了一种基于改进扩散模型的高海拔地区新能源高波动出力场景生成方法,并提供了完整的Python代码实现。该方法针对高海拔地区风能、光伏等新能源出力波动剧烈、不确定性高的特点,通过优化扩散模型的结构与训练策略,有效捕捉历史数据的概率分布特征与时序相关性,从而生成高质量、多样化的出力场景。文中详细阐述了模型的数学推导、网络架构设计、损失函数优化及采样算法改进,并通过实验证明其在拟合精度、场景多样性与稳定性方面优于传统生成模型,为电力系统在高比例新能源接入下的规划、调度与风险评估提供了可靠的场景输入支持。; 适合人群:具备一定Python编程能力和机器学习基础,从事新能源发电预测、电力系统分析、智能优化、场景生成等方向研究的科研人员、高校研究生及工程技术人员。; 使用场景及目标:①用于高海拔地区风电、光伏出力的不确定性建模与多场景生成;②支撑含高渗透率新能源的电力系统随机优化调度、鲁棒决策与风险评估;③为相关学术研究、论文复现与算法改进提供可运行的技术方案与代码基础; 阅读建议:建议读者结合所提供的完整资源(代码、数据集、说明文档)进行实践操作,重点关注扩散模型的前向加噪与反向去噪过程的设计细节,以及如何将其适配于新能源时序数据的生成任务,通过参数调优与对比实验深入理解模型的生成机制与性能边界。
内容概要:本文围绕基于静态约束法的配电网电动汽车接入容量评估展开研究,提出了一种在新型电力系统背景下评估主动配电网对电动汽车承载能力的方法。研究通过构建数学模型,结合潮流计算与关键约束条件(如电压越限、线路过载等),量化分析配电网可承受的最大电动汽车充电负荷容量,旨在识别规模化电动汽车接入带来的潜在运行风险,并为电网规划与运行提供科学依据。文中配套提供了完整的Matlab代码实现,便于仿真验证与结果复现。此外,该研究与分布式光伏承载力评估、电动汽车可调能力分析等方向形成技术联动,展现了多主题协同的研究体系。; 适合人群:具备电力系统分析基础理论知识及Matlab编程能力的高校研究生、科研机构研究人员,以及从事新能源并网、智能配电网规划与运行等相关领域的工程技术人员。; 使用场景及目标:①用于学术研究中的模型复现与论文撰写支撑;②评估实际配电网中电动汽车大规模接入的可行性与安全边界,指导充电基础设施布局;③作为高校教学案例,帮助学生深入理解电网承载力评估的核心原理、建模方法与仿真技术; 阅读建议:建议结合文中提及的相关研究方向(如二阶锥规划、多面体聚合方法等)进行对比学习,充分利用所提供的Matlab代码与网盘资料开展仿真实验,重点关注约束条件的设定逻辑与潮流计算模块的实现细节,以深化对评估模型机理与工程应用价值的理解。
内容概要:本文围绕“考虑隐私保护的分布式联邦学习电力负荷预测研究”展开,提出了一种基于Python实现的联邦学习框架,旨在解决居民或行业电力负荷预测中用户电表数据隐私泄露的风险。该研究通过构建分布式机器学习模型,使各参与方在不共享原始数据的前提下协同训练全局模型,有效实现了数据“可用不可见”。文中详细阐述了联邦学习的整体架构设计、本地模型训练流程、参数加密传输与安全聚合机制,并结合差分隐私等技术进一步增强系统的隐私保护能力。同时,研究利用真实电力负荷数据集进行了实验验证,展示了方法在预测精度与隐私保障之间的良好平衡,并提供了完整的代码实例与复现指南,便于后续研究与应用拓展。; 适合人群:具备一定机器学习基础和电力系统背景知识,从事智慧能源、隐私计算或人工智能相关方向研究的研究生、科研人员及工程技术人员。; 使用场景及目标:① 实现跨区域、跨主体的电力负荷协同预测,打破数据孤岛;② 在确保用户用电数据隐私安全的前提下提升负荷预测准确性;③ 推动联邦学习在智能电网、需求响应、虚拟电厂等场景中的实际部署与应用。; 阅读建议:建议结合文中提供的Python代码与网盘资料进行动手实践,重点关注联邦学习的通信轮次设计、模型聚合算法(如FedAvg)的实现细节以及差分隐私噪声添加策略,深入理解其对模型性能与隐私强度的影响,为进一步优化与创新奠定基础。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值