《kafka》

kafka的概念

https://blog.csdn.net/Delicious_Life/article/details/106762730

kafka中的消息结构

Kafka的文件存储机制_我能在河边钓一整天的鱼-CSDN博客

kafka如何保证消息不丢失

<1>producer。生产者默认有一个位于内存的buffer用来缓存未发送的消息，但是这块内存区域断电即失，当producer宕机就完了。生产者要保证消息不丢失，可以把异步发送改成同步发送消息。也可以将消息先写到本地磁盘再写到buffer，这样即使buffer丢失，磁盘中也持久化了记录。

<2>broker。单台情况下，kafka中的数据默认先存在页缓存中，然后是异步批量的刷盘到磁盘中。kafka的刷盘没有同步，我们可以通过控制刷盘频率来缓解丢失出现时，丢失的数据量。kafka集群下，如果一台kafka出了问题，另外的kafka仍然的正常工作，这种情况下可以保证数据不丢失

<3>consumer。默认消费者会将收到的消息自动commit进行提交，自动的过程不一定消费成功。我们把自动提交改成手动提交，每次消费成功才提交，这样可以保证消息最少被消费一次。

kafka如何解决重复消费的问题

对于重复消费问题，可以通过幂等性来解决

kafka消息积压了怎么办

1.增加topic的partition个数，提升消费者组的消费者数量（消费数=分区数）

2.提高消费者每批次拉取的数量