RocketMQ消息消费

本文详细介绍了RocketMQ的消息消费原理,消费者分类,包括PushConsumer、PullConsumer和SimpleConsumer的工作方式和使用示例。重点讨论了PushConsumer的内部线程模型,以及消费者过滤机制,包括Tag标签过滤和SQL属性过滤的规则和应用。此外,还解析了消费者负载均衡策略,如广播消费与共享消费,以及消费进度管理和消息轨迹追踪。

本文只提供生产者和消费者部分的示例代码,其它配置部分见RocketMQ消息客户端生产与消费的基本实现

技术框架

JDK: java version “1.8.0_391”
RocketMQ SDK: rocketmq-spring-boot-starter:2.2.3

消息消费原理

消费者必须关联一个指定的消费者分组,以获取分组内统一定义的行为配置和消费状态;RocketMQ根据订阅关系关联消息消息主题与消费者分组,并通过订阅关系从队列中获取到关系。模型关系如图:

消费者分类

根据消费行为分类

分为: PushConsumer 、 SimpleConsumer 以及 PullConsumer

PushConsumer

全托管消费,消息的获取、消费状态提交以及消费重试都通过 Apache RocketMQ 的客户端SDK完成,Rocketmq-client:5.x中默认的消费方式。

工作原理

在PushConsumer类型中,消息的实时处理能力是基于SDK内部的典型Reactor线程模型实现的。如下图所示,SDK内置了一个长轮询线程,先将消息异步拉取到SDK内置的缓存队列中,再分别提交到消费线程中,触发监听器执行本地消费逻辑。

使用方式

PushConsumer的使用方式比较固定,在消费者初始化时注册一个消费监听器,并在消费监听器内部实现消息处理逻辑。由 Apache RocketMQ 的SDK在后台完成消息获取、触发监听器调用以及进行消息重试处理。
示例代码:

@Component
@RocketMQMessageListener(
    topic = "smsTopic",
    consumerGroup = "smsConsumerGroup"
)
public class SMSTopicListener implements RocketMQListener<MessageExt> {

    private static final Logger logger = LoggerFactory.getLogger(SMSTopicListener.class);

    @Override
    public void onMessage(MessageExt msgExt) {
        // 执行本地事务逻辑,返回事务状态
        try {
            String bodyStr = new String(msgExt.getBody());
            logger.info("消息消费开始:{}", bodyStr);
            logger.info("消息消费结束");
        } catch (Exception e) {
            logger.error("交易消息消费失败!", e);
            throw e;
        }
    }
}

PullConsumer

被动消费,自动拉取模式,业务自定拉取消息、维护OffsetStore、根据不同的消息状态做不同的处理。
rocketmq-spring-boot-starter:2.2.3中封装了PullConsumer消费者的创建过程,使用时可通过配置调整相关参数,不需要自己单独实现消费管理的过程。

使用方式
使用默认的配置

配置内容
application.yml

rocketmq:
  name-server: 127.0.0.1:9876
  pull-consumer:
    group: smsPullConsumerGroup
    topic: pull-topic
    pullBatchSize: 20

添加消息监听器

@Component
@RocketMQMessageListener(
        topic = "pull-topic",
        consumerGroup = "smsPullConsumerGroup"
)
public class SMSPullTopicListener implements RocketMQListener<MessageExt> {

    private static final Logger logger = LoggerFactory.getLogger(SMSTopicListener.class);

    @Override
    public void onMessage(MessageExt msgExt) {
        // 执行本地事务逻辑,返回事务状态
        try {
            String bodyStr = new String(msgExt.getBody());
            logger.info("消息消费开始:{}", bodyStr);
            logger.info("
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值