您的位置:首页 > 文旅 > 美景 > 动态网页有哪些_大连网页设计公司_昆明网络推广_seo建站系统

动态网页有哪些_大连网页设计公司_昆明网络推广_seo建站系统

2025/2/28 4:08:34 来源:https://blog.csdn.net/m0_37635053/article/details/144259409  浏览:    关键词:动态网页有哪些_大连网页设计公司_昆明网络推广_seo建站系统
动态网页有哪些_大连网页设计公司_昆明网络推广_seo建站系统

flink集群的安装部署

flink集群是以hadoop集群为基础的,所以先要搭建hadoop集群(参看前文:hadoop集群搭建)

环境规划

IPHOSTNAME性质
192.168.101.191hadoop191master
192.168.101.192hadoop192slave
192.168.101.193hadoop193slave

一、下载安装

下载地址(以1.20.0为例):https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.20.0/ 下载flink-1.20.0-bin-scala_2.12.tgz
分别上传到 3台服务器的/opt/module/flink/目录,解压:tar -zxvf flink-1.20.0-bin-scala_2.12.tgz

二、修改配置文件

vim /home/data/flink/flink-1.20.0/conf/config.yaml

hadoop191的配置如下:

jobmanager:# 允许访问的ipbind-host: 0.0.0.0rpc:# master服务器的hostname,3台机器都配置hadoop191address: hadoop191port: 6123memory:process:size: 1600mexecution:failover-strategy: region
taskmanager:# 任务节点,允许访问ipbind-host: 0.0.0.0# 任务节点的主机名,每台机器填自己的主机名host: hadoop191numberOfTaskSlots: 6memory:process:size: 1728m
parallelism:default: 4
rest:address: localhost# 允许web访问的ip,仅修改hadoop191,浏览器也只访问此台bind-address: 0.0.0.0

hadoop192、hadoop193的配置,仅taskmanager.host各自填自己的主机名,不修改rest.address,
其他与master保持一致即可

三、修改主从

在目录 /opt/module/flink/flink-1.20.0/conf下修改:
vim masters
写入:hadoop191:8081
vim workers
写入:
hadoop191
hadoop192
hadoop193
分发到另外两台机器,3台机器的masters与workers是一致的

四、权限修改

分别在3台机器的目录:/opt/module/flink 执行: chown -R hadoop:hadoop flink-1.20.0

五、免密访问

我的3台机器,的hadoop账号设置了免密访问(参考hadoop集群搭建的1.4)

六、编写启动脚本

在 /home/hadoop/bin目录下执行 vim flink.sh

#!/bin/bash
if [ $# -lt 1 ]
thenecho "No Args Input..."exit ;
fi
case $1 in
"start")echo " =================== 启动 flink 集群 ==================="ssh hadoop191 "/opt/module/flink/flink-1.20.0/bin/start-cluster.sh";;
"stop")echo " =================== 关闭 flink 集群 ==================="ssh hadoop191 "/opt/module/flink/flink-1.20.0/bin/stop-cluster.sh";;
*)echo "Input Args Error..."
;;
esac

授权与改变归属:
chmod +x flink.sh
chown -R hadoop:hadoop flink.sh

七、启动

用hadoop用户执行: sh flink.sh start

八、浏览器访问

http://192.168.101.191:8081/

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com