目录
一、环境准备
1、MySQL 环境准备
2、Kafka 环境准备
二、Kafka-Eagle 安装
1、官网
2、上传解压
3、修改名称
4、修改配置文件
5、添加环境变量
6、创建一个数据库
7、 启动
三、查看可视化大屏
1、登录页面查看监控数据
2、要想可视化大屏有数据,要求:
3、查看
在生产过程中,想创建topic、查看所有topic、想查看某个topic 、想查看分区等,都需要写命令,能不能有一个图形化的界面,让我们操作呢?Kafka-Eagle 框架就可以监控 Kafka 集群的整体运行情况,在生产环境中经常使用。本文介绍的就是Kafka-Eagle 框架的安装部署。
一、环境准备
1、MySQL 环境准备
Kafka-Eagle 的安装依赖于 MySQL,MySQL 主要用来存储可视化展示的数据。所以要保证服务器上安装有MySQL。
2、Kafka 环境准备
(1) 关闭 Kafka 集群
确保集群中有kafka(如果未安装,请看我的往期博客,有kafka的安装部署),先将其关闭。
kf.sh stop
(2)修改/opt/installs/kafka3/bin/kafka-server-start.sh 命令中
cd /opt/installs/kafka3/bin/
vi kafka-server-start.sh
修改如下参数:
将大概28行位置的
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi
修改为:
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"
export JMX_PORT="9999"
#export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi
注意:修改之后在启动 Kafka 之前要分发到其他节点
# 这里我使用的是xsync.sh脚本分发的
xsync.sh /opt/installs/kafka3/bin/kafka-server-start.sh
二、Kafka-Eagle 安装
1、官网
https://www.kafka-eagle.org
2、上传解压
(1)上传压缩包 kafka-eagle-bin-2.0.8.tar.gz 到集群/opt/modules 目录
(2)解压到本地
tar -zxvf /opt/modules/kafka-eagle-bin-2.0.8.tar.gz
(3)将 efak-web-2.0.8-bin.tar.gz 解压至/opt/installs
cd /opt/modules/kafka-eagle-bin-2.0.8
tar -zxvf efak-web-2.0.8-bin.tar.gz -C /opt/installs/
3、修改名称
cd /opt/installs
mv efak-web-2.0.8/ efak
4、修改配置文件
找到/opt/installs/efak/conf下system-config.properties文件
cd /opt/installs/efak/conf/system-config.properties
vi system-config.properties
修改如下:
# offset 保存在 kafka
cluster1.efak.offset.storage=kafka
# 我的服务器是bigdata01、bigdata02、bigdata03 ,请修改为你的
efak.zk.cluster.alias=cluster1,cluster2
cluster1.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka
cluster2.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka
# 修改数据库连接:&serverTimezone=GMT 时区一定要写,否则报405错误!
# 我的mysql在bigdata01上 ,请请修改为你的位置,账号和密码
efak.driver=com.mysql.cj.jdbc.Driver
efak.url=jdbc:mysql://bigdata01:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull&serverTimezone=GMT
efak.username=root
efak.password=*******
5、添加环境变量
# kafkaEFAK
export KE_HOME=/opt/installs/efak
export PATH=$PATH:$KE_HOME/bin
修改完之后刷新环境变量:source /etc/profile
6、创建一个数据库
(1)查看mysql状态,确保是开着的
systemctl status mysqld
systemctl start mysqld
(2)在mysql上创建一个ke数据库
7、 启动
(1)注意:启动之前需要先启动 ZK 以及 KAFKA(我使用的是脚本启动)
zk.sh start
kf.sh start
(2)启动 efak
# 启动命令
ke.sh start# 停止命令
ke.sh stop
查看mysql发现ke数据库多了许多表格:
三、查看可视化大屏
1、登录页面查看监控数据
通过端口号:8048进入可视化大屏
账号:admin 密码:123456
切记:假如访问不了,查看efak中的log日志,里面的错误特别的详细,绝对可以解决你的问题。
eagle 可以通过这个图形化界面管理Topic,查看kafka的集群的消息发送和消费情况,还可以操作zk.
2、要想可视化大屏有数据,要求:
(1)要开启消费者、生产者
(2)要想看到大屏数据,此处的JMX必须是上线状态
3、查看