传Livy闭包head of empty list报错排查步骤

原创

于 2022-04-29 23:21:05 发布 · 2.5k 阅读

标签

#scala

收录于

本文介绍了在遇到Scala程序中Livy执行闭包时出现'head of empty list'错误的排查过程。从日志分析、代码审查到利用jmap、jhat、arthas等工具定位问题，最终发现是由于闭包中使用了scala的List导致的反序列化问题。解决方案是在调用Livy Job任务闭包时避免传入Scala List实例，以防止单例破坏。

报错日志：

问题分析过程

1、报错各式各样的方法栈，但是终归于head of empty list，于是去看scala相关代码。

2、为什么List在为空的情况下，还要继续执行head方法呢，scala List map代码：

3、google “scala head of empty list”， list.map method throws "head of empty list" exception · Issue #9584 · scala/bug · GitHub中讲到Nil是一个object单例，如果有反序列化或反射的情况，就会出现单例破坏。看看Nil的代码：