1. 基础特性与定位
| 维度 | Kafka | RocketMQ | RabbitMQ |
|---|---|---|---|
| 开发语言 | Scala（JVM） | Java | Erlang |
| 定位 | 分布式流处理平台（日志、大数据） | 高可靠分布式消息中间件（电商、金融） | 灵活的企业级消息代理（中小规模系统） |
| 核心协议 | 自定义协议 | 自定义协议 | AMQP、STOMP、MQTT |
| 开源社区 | Apache项目，活跃度高 | Apache项目，阿里生态支持 | Pivotal维护，插件生态丰富 |
2. 架构与高可用
-
Kafka
- 依赖：ZooKeeper（旧版）或KRaft（新版自洽模式）协调集群。
- 分区与副本：Topic分为多个Partition，每个Partition有Leader和Follower副本，通过ISR机制保障高可用。
- 特点：适合水平扩展，单机分区过多时性能下降（需控制在64个以内）。
-
RocketMQ
- 依赖：自研NameServer（轻量级注册中心，无强一致性）。
- 存储结构：CommitLog统一存储所有消息，ConsumeQueue按Topic和Queue维度索引。
- 特点：支持同步/异步刷盘，数据可靠性高，适合事务消息和顺序消息场景。
-
RabbitMQ
- 无主架构：Erlang实现节点间数据同步，无需注册中心。
- 队列模式：普通模式（元数据同步，消息分布式存储）和镜像模式（全量数据复制）。
- 特点：灵活的路由规则（Exchange绑定Queue），但镜像模式资源消耗大。
3. 性能与吞吐量
| 指标 | Kafka | RocketMQ | RabbitMQ |
|---|---|---|---|
| 吞吐量 | 百万级/秒（批量+零拷贝） | 十万级~百万级/秒 | 万级~十万级/秒 |
| 延迟 | 毫秒级（批量优化） | 毫秒级 | 微秒级~毫秒级 |
| 消息堆积 | 支持海量堆积（日志场景） | 支持百亿级堆积 | 堆积时性能显著下降 |
| 典型场景 | 日志采集、流处理 | 订单交易、金融事务 | 业务解耦、复杂路由 |
4. 消息特性与可靠性
-
消息可靠性
- 三者均支持持久化、ACK机制，最新版本均可实现不丢消息。
- Kafka：Producer需配置
acks=all，Consumer手动提交Offset。 - RocketMQ：同步刷盘+主从复制，支持事务消息（分布式事务）。
- RabbitMQ：镜像队列+持久化，支持死信队列（重试机制）。
-
顺序消息
- Kafka：单Partition内有序。
- RocketMQ：单Queue内有序（需锁定Consumer线程）。
- RabbitMQ：单队列有序，多消费者场景无法保证。
-
消息回溯
- Kafka/RocketMQ：支持Offset重置，按时间戳消费历史消息。
- RabbitMQ：普通队列不支持，Stream队列（3.9+）支持消息重放。
5. 适用场景
-
Kafka
- 大数据管道：日志收集、监控数据聚合、实时流处理（配合Flink/Spark）。
- 高吞吐场景：广告点击流、用户行为跟踪。
-
RocketMQ
- 金融级可靠性：订单扣款、支付对账、分布式事务。
- 大规模消息堆积：促销活动流量削峰。
-
RabbitMQ
- 复杂路由需求：根据Header、路由键动态分发消息（如通知系统）。
- 中小规模系统：ERP系统集成、IoT设备指令下发（MQTT协议支持）。
6. 劣势与限制
-
Kafka
- 功能相对单一（侧重吞吐，缺乏事务消息原生支持）。
- 分区过多时性能下降，运维复杂度高（需管理ZooKeeper/KRaft）。
-
RocketMQ
- 客户端语言支持较少（主推Java SDK）。
- 社区生态弱于Kafka（依赖阿里主导）。
-
RabbitMQ
- Erlang语言门槛高，二次开发困难。
- 集群扩展性差（镜像模式资源消耗大）。
7. 选型建议
-
技术栈匹配：
- Java团队优先考虑RocketMQ（源码可控，功能丰富）。
- 大数据团队选择Kafka（生态成熟，无缝对接Hadoop/Spark）。
- 需要灵活协议支持选RabbitMQ（AMQP/MQTT/STOMP）。
-
业务需求：
- 高吞吐+日志场景 → Kafka。
- 事务+金融级可靠 → RocketMQ。
- 复杂路由+低延迟 → RabbitMQ。
-
运维成本：
- 中小团队优先RabbitMQ（开箱即用，管理界面完善）。
- 自研能力强选RocketMQ/Kafka（深度定制优化）。
总结：三者无绝对优劣，需结合业务规模、技术栈和运维能力综合选择。
- Kafka：大数据领域事实标准，吞吐为王。
- RocketMQ：阿里系高可靠首选，平衡性能与功能。
- RabbitMQ：灵活轻量，适合协议多样化的中小系统。