文章目录
- 概要
- 架构
- 系统架构
- 功能架构
- 快速开始
- 安装前准备
- 安装部署
- 登录访问测试
- 小结
概要
在github上觅食,无意间找到一款开源好用的数据可视化工具DataEase
,基于SpringBoot
实现,集成 Apache Doris + Kettle
,可支持超大数据量秒级查询。在Github上已经有4.1K+Star。致力于帮助用户快速分析数据并洞察业务趋势,从而实现业务的改进与优化。
DataEase 支持丰富的数据源连接,能够通过拖拽方式快速制作图表,并可以分享给他人。
下面是一张由DataEase生成的可视化大屏,还是挺炫酷的。
架构
系统架构
DataEase使用的技术栈如下:
技术 | 说明 |
---|---|
SpringBoot | 后端基础框架 |
MySQL | 数据存储 |
Apache Doris | 一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果,有效地支持实时数据分析。 |
Kettle | 一款开源的ETL(即数据抽取、转换、装载的过程)工具,纯Java编写,可以实现高效稳定的数据抽取。 |
Docker | 容器化部署 |
Vue | 前端基础框架 |
Element | 前端UI框架 |
各种技术在DataEase中的使用场景如下:
从中不难看出,DataEase的优势所在:多平台安装和多样化嵌入支持,支持多种数据分享方式
功能架构
产品功能架构图如下,从中我们很容易看出使用DataEase我们能做什么。
快速开始
DataEase提供了Docekr镜像,在服务器上执行一键安装命令,即可完成安装,如果你的服务器已经安装了MySQL,需要一些额外的配置。
安装前准备
部署服务器要求:
操作系统: Ubuntu 22.04 / CentOS 7 64 位系统
CPU/内存: 4核8G
磁盘空间: 200G
可访问互联网
提示:支持云平台部署,安装成功后请检查公有云端口开通情况。
端口要求
部署 DataEase 服务需要开通的访问端口说明如下:
端口 | 作用 | 说明 |
---|---|---|
22 | SSH 安装 | 升级及管理使用 |
8100 | Web 服务端口 | 默认端口,根据用户需要可以更改 |
安装部署
在服务器上执行一键安装命令:
curl -sSL https://dataease.oss-cn-hangzhou.aliyuncs.com/quick_start_v2.sh | bash
如果使用外部数据库进行安装,推荐使用 MySQL 8.X 版本。同时 DataEase 对数据库部分配置项有要求,请参考下附的数据库配置,修改环境中的数据库配置文件
[mysqld]
datadir=/var/lib/mysqldefault-storage-engine=INNODB
character_set_server=utf8
lower_case_table_names=1
table_open_cache=128
max_connections=2000
max_connect_errors=6000
innodb_file_per_table=1
innodb_buffer_pool_size=1G
max_allowed_packet=64M
transaction_isolation=READ-COMMITTED
innodb_flush_method=O_DIRECT
innodb_lock_wait_timeout=1800
innodb_flush_log_at_trx_commit=0
sync_binlog=0
group_concat_max_len=1024000
sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION
skip-name-resolve[mysql]
default-character-set=utf8[mysql.server]
default-character-set=utf8
特别注意以下几个参数的设置:
character_set_server=utf8
lower_case_table_names=1
group_concat_max_len=1024000
请参考文档中的建库语句创建 DataEase 使用的数据库,DataEase 服务启动时会自动在配置的库中创建所需的表结构及初始化数据。
CREATE DATABASE `dataease` DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;
安装脚本使用 /opt/dataease 作为默认安装目录,DataEase 的配置文件、数据及日志等均存放在该安装目录
安装目录目录结构说明:
/opt/dataease/
├── bin #-- 安装过程中需要加载到容器中的脚本
├── conf #-- DataEase 各组件及数据库等中间件的配置文件
├── custom-drivers #-- DataEase 自定义驱动程序目录
├── data #-- DataEase 各组件及数据库等中间件的数据持久化目录
├── docker-compose-doris.yml #-- DataEase 内建的 Doris 所需的 Docker Compose 文件
├── docker-compose-kettle.yml #-- DataEase 内建的 Kettle 所需的 Docker Compose 文件
├── docker-compose-mysql.yml #-- DataEase 内建的 MySQl 所需的 Docker Compose 文件
├── docker-compose.yml #-- DataEase 基础 Docker Compose 文件,定义了网络等基础信息
├── logs #-- DataEase 各组件的日志文件持久化目录
├── plugins #-- DataEase 第三方插件目录
└── templates #-- DataEase 各组件及数据库等中间件的配置文件的原始文件
登录访问测试
由于DateEase安装成功后会自动在系统中注册dataease服务,所以我们可以使用如下命令来操作它。
# 查看服务状态
systemctl status dataease
# 启动服务
systemctl start dataease
# 停止服务
systemctl stop dataease
登录访问
安装成功后,通过浏览器访问如下页面登录:
- 访问地址 : http://目标服务器IP地址:服务运行端口
- 登录用户名: admin
- 登录密码: DataEase@123456
这种部署方式属于傻瓜式操作,也是为了方便大家快速的对DataEase
项目有个大致的了解。如果想了解更多的关于DataEase项目源码
,1Panel面板运用
,Docker镜像制作
等内容,推荐各位选择其他的部署方式。
小结
总的来说,DataEase是一款非常不错的数据可视化工具。它可以让我们不写代码,就轻松实现一些数据可视化的需求,支持从各种数据源和Excel中分析数据。并且它使用了当下流行的大数据分析技术Apache Doris
和Kettle
,对这些技术感兴趣的朋友也可以尝试下它。
DataEase的数据可视化功能使用案例
分享一篇大佬写的文章转载链接:不写代码轻松实现数据可视化,这款基于SpringBoot的神器,简直绝了!
官方文档:DataEase文档
Github:DataEase --人人可用的开源数据可视化分析工具
除此之外,飞致云团队还有其他优秀的开源项目,值得大家去品鉴学习的。
JumpServer - 广受欢迎的开源堡垒机
1Panel - 现代化、开源的 Linux 服务器运维管理面板
Halo - 强大易用的开源建站工具
MaxKB - 基于 LLM 大语言模型的开源知识库问答系统
MeterSphere - 开源的测试管理和接口测试工具
CloudExplorer Lite - 开源轻量级云管平台
Gitea - 新一代的代码托管平台