spark lz4包冲突

最新推荐文章于 2026-03-16 01:51:48 发布

原创最新推荐文章于 2026-03-16 01:51:48 发布 · 822 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#spark

收录于

spark 专栏收录该内容

9 篇文章

订阅专栏

博客讲述使用Spark读取Kafka分析时，若Kafka的startingOffsets设为earliest会报错。经检查，是Spark和Kafka - client中都有lz4包且版本不同（Spark为1.4，Kafka - client为1.3）导致冲突，解决办法是将Kafka - client的lz4 exclusion掉。

使用spark读取kafka分析的时候，kafka 的startingOffsets如果设置为earliest，就会报错：

java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.<init>(Ljava/io/InputStream;Z)V

使用mvn -Dverbose dependency:tree检查发现，是spark和kafka-client中都包含了lz4包，但是spark中的版本是1.4，但是kafak-client中lz4版本是1.3，所以会发生冲突，把kafka-client的lz4 exclusion掉就可以。如下：

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>${kafka.version}</version>
    <scope>${scope.mode}</scope>
    <exclusions>
    <exclusion>
        <groupId>net.jpountz.lz4</groupId>
        <artifactId>lz4</artifactId>
    </exclusion>
</exclusions>