Kafka消息积压的典型场景及解决方案

Kafka消息积压的典型场景：

1.实时/消费任务挂掉

比如，我们写的实时应用因为某种原因挂掉了，并且这个任务没有被监控程序监控发现通知相关负责人，负责人又没有写自动拉起任务的脚本进行重启。
那么在我们重新启动这个实时应用进行消费之前，这段时间的消息就会被滞后处理，如果数据量很大，可就不是简单重启应用直接消费就能解决的。

>>>>  解决方案1： 

方案简述： 任务重新启动后直接消费最新的消息，对于"滞后"的历史数据采用离线程序进行"补漏"。

>>>>   具体操作1 ：  消费者从最新的地方进行消费

• 1、偏移量设置  默认位置是在 zookeeper 中设置的 
• 2、设置消费者参数  auto.offset.reset  = latest 从最新消息开始消费
• 3、给启动的消费组设置 动态的组ID=> 每次启动消费者重新生成一个随机的组ID保证从最新消息开始消费
• 4、任务重启手动设置偏移量到最新的位置  。这可以通过查询Kafka的消费者API来完成。

>>>>  具体操作2 ：   针对滞后的数据如何查漏补缺

Apa