前言
前几天一个接口rpc调用忽然一时间报错十几次,报错信息是反序列化错误,经过排查是因为线程池满了,导致返回结果为null,我们自己在null的情况下默认将"{}"转成对应对象,所以基本类型不满足条件导致反序列化错误。
但是线程池报错没有打日志,所以如果不是类型转换错误,甚至都没能感知到bug。所以看一下源码为什么没有打日志。
线程池满了报错排查
经过一层层的调用,找到MainClientExec.java执行execute()获取连接池,因为线程池满了,而超时时间又只设置了1s,抛出org.apache.http.conn.ConnectionPoolTimeoutException: Timeout waiting for connection from pool。
虽然这个在获取连接的时候有两个catch,而事实上ConnectionPoolTimeoutException并不在属于这两种类型报错,所以只是跳出方法抛出错误了。

然后在RetryExec.java里面抛出连接超时异常

报错日志打印
抛出错误,最后在SynchronousMethodHandler.class处理打印日志,但是因为日志等级设置原因所以没有打印。


本文记录了一次由于线程池满导致的RPC调用报错问题,详细介绍了从反序列化错误入手,逐步排查到线程池满未打印日志的原因,最终通过定制连接池实现对PoolState的监控,从而解决问题的过程。
4163

被折叠的 条评论
为什么被折叠?



