文章目录
- 前言
- 🐳 一、使用纯 Kafka + Kafka-UI (无 Zookeeper)Docker 配置
- 🚀 启动步骤
- ✅ 服务启动后地址
- 🔥 注意事项(使用 Kraft)
- ✅ NestJS Kafka 连接不变
- 🧠 额外补充
- 📦 kafka/README.md 内容:
- Kafka Kraft 模式部署指南
- 🐳 使用 Docker-Compose 快速启动
- 🌐 服务地址
- 🛠️ 常用运维指令
- 查看所有容器状态
- 查看 Kafka UI 日志
- 查看 Kafka Broker 日志
- 创建 Topic(进入 Kafka 容器内部执行)
- 查看 Topic 列表
- 查看 Topic 消息
- ⚡ NestJS 配置 Kafka
- 🚨 注意事项
前言
✅ 使用 不需要 Zookeeper 的 Kafka —— 那就是 Kafka KRaft 模式(KRaft = Kafka Raft Metadata Mode),从 Kafka 2.8+ 起官方支持,3.3+ 开始默认推荐。
这样可以:
- 去掉 zookeeper 依赖
- 简化部署,性能更高
- 更符合现在 Kafka 的新一代标准架构
🐳 一、使用纯 Kafka + Kafka-UI (无 Zookeeper)Docker 配置
这里直接给你新版 docker-compose.yml
(最新流行写法)👇:
version: '3.8'services:kafka:image: bitnami/kafka:3.6container_name: kafkaports:- '9092:9092'environment:- KAFKA_CFG_NODE_ID=0 - KAFKA_CFG_PROCESS_ROLES=broker,controller- KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=0@kafka:9093- KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093- KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kafka:9092- KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT- KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER- KAFKA_CFG_LOG_DIRS=/bitnami/kafka/data- KAFKA_KRAFT_CLUSTER_ID=替换成base64的uuid- ALLOW_PLAINTEXT_LISTENER=yesvolumes:- kafka_data:/bitnami/kafkakafka-ui:image: provectuslabs/kafka-ui:latestcontainer_name: kafka-uiports:- '8080:8080'environment:- KAFKA_CLUSTERS_0_NAME=kraft-kafka- KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS=kafka:9092- DYNAMIC_CONFIG_ENABLED=truevolumes:kafka_data:
🚀 启动步骤
docker-compose up -d
✅ 服务启动后地址
服务 | 地址 | 说明 |
---|---|---|
Kafka Broker | localhost:9092 | NestJS 直接连 |
Kafka UI | http://localhost:8080 | 查看 Topic、消息 |
🔥 注意事项(使用 Kraft)
说明 | 备注 |
---|---|
控制器 | Kafka 自己用 Raft 协议管理元数据,不再需要 ZooKeeper |
单节点开发环境 | OK,生产建议部署多节点控制器 |
镜像推荐 | 使用 bitnami/kafka ,官方纯净版 Kraft 支持最好 |
✅ NestJS Kafka 连接不变
new Kafka({clientId: 'seckill-service',brokers: ['localhost:9092'],
});
🧠 额外补充
特性 | Zookeeper版 Kafka | Kraft版 Kafka |
---|---|---|
简单性 | ❌ 复杂 | ✅ 简洁 |
启动速度 | 慢 | 快 |
部署节点数量 | 多 | 少 |
生产是否推荐使用 | 需要搭建多个 Broker | 需要搭建多个 Controller Broker |
✅ kafka/README.md
运维指令集和最佳实践
📦 kafka/README.md 内容:
Kafka Kraft 模式部署指南
🐳 使用 Docker-Compose 快速启动
cd kafka
docker-compose up -d
✅ 启动以下容器:
- kafka (KRaft模式,无需Zookeeper)
- kafka-ui(管理界面)
🌐 服务地址
服务 | 地址 | 说明 |
---|---|---|
Kafka Broker | localhost:9092 | 供 NestJS 项目连接使用 |
Kafka UI | http://localhost:8080 | 可视化查看 Topic / 消费者组等信息 |
🛠️ 常用运维指令
查看所有容器状态
docker ps
查看 Kafka UI 日志
docker-compose logs kafka-ui
查看 Kafka Broker 日志
docker-compose logs kafka
创建 Topic(进入 Kafka 容器内部执行)
docker exec -it kafka bash# 创建 topic
kafka-topics.sh --bootstrap-server localhost:9092 --create --topic seckill-orders --partitions 3 --replication-factor 1
查看 Topic 列表
kafka-topics.sh --bootstrap-server localhost:9092 --list
查看 Topic 消息
kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic seckill-orders --from-beginning
⚡ NestJS 配置 Kafka
NestJS 项目中连接 Kafka:
new Kafka({clientId: 'seckill-service',brokers: ['localhost:9092'],
});
🚨 注意事项
- 这是开发测试环境配置(单节点 Kraft)
- 生产环境应至少部署 3 个 Broker 节点,启用多控制器选举
- 确认端口号未被占用(默认 9092 / 8080)