您的位置:首页 > 新闻 > 热点要闻 > 佛山网站到首页排名_免费服务器主机_百度知道免费提问_全国互联网营销大赛官网

佛山网站到首页排名_免费服务器主机_百度知道免费提问_全国互联网营销大赛官网

2025/1/6 19:38:02 来源:https://blog.csdn.net/m0_57764570/article/details/143904716  浏览:    关键词:佛山网站到首页排名_免费服务器主机_百度知道免费提问_全国互联网营销大赛官网
佛山网站到首页排名_免费服务器主机_百度知道免费提问_全国互联网营销大赛官网

目录

一、上传Flink安装包,解压,配置环境变量

二、修改配置文件

三、上传jar包

四、分发

五、启动

六、观察webUI 

七、提交官方示例测试


 

      Flink支持多种安装模式。

  1. local(本地)——本地模式

  2. standalone——独立模式,Flink自带集群,开发测试环境使用

  3. standaloneHA—独立集群高可用模式,Flink自带集群,开发测试环境使用

  4. yarn——计算资源统一由Hadoop YARN管理,生产环境测试

本文介绍一下standalone集群模式的安装部署!

一、上传Flink安装包,解压,配置环境变量

先将安装包上传到服务器 (flink-1.13.6-bin-scala_2.11.tgz  这里用的是1.13版本)

官网地址:Downloads | Apache Flink

1.13版本下载链接:https://archive.apache.org/dist/flink/flink-1.13.1/flink-1.13.1-bin-scala_2.11.tgz

# 1、解压
tar -zxvf flink-1.13.6-bin-scala_2.11.tgz -C /opt/installs/# 2、重命名
mv flink-1.13.6/ flink# 3、修改环境变量
vim /etc/profile# 4、刷新
source /etc/profile

在环境变量中添加:

export FLINK_HOME=/opt/installs/flink
export PATH=$PATH:$FLINK_HOME/bin
export HADOOP_CONF_DIR=/opt/installs/hadoop/etc/hadoop 

二、修改配置文件

① 修改/opt/installs/flink/conf/flink-conf.yaml文件

#修改33行:

jobmanager.rpc.address: bigdata01

#修改60行:
taskmanager.numberOfTaskSlots: 2

#修改161行:
web.submit.enable: true

#历史服务器  如果HDFS是高可用,则复制core-site.xml、hdfs-site.xml到flink的conf目录下 

#在文件末尾添加(根据自己的情况改写,我的是bigdata01):

hadoop11:8020 -> hdfs-cluster
jobmanager.archive.fs.dir: hdfs://bigdata01:9820/flink/completed-jobs/
historyserver.web.address: bigdata01
historyserver.web.port: 8082
historyserver.archive.fs.dir: hdfs://bigdata01:9820/flink/completed-jobs/

② 修改/opt/installs/flink/conf/masters文件

 

③修改 /opt/installs/flink/conf/workers文件

 

三、上传jar包

将flink-shaded-hadoop-2-uber-2.7.5-10.0.jar放到flink的lib目录下

四、分发

分发到集群中其他的服务器上 (使用脚本分发):

xsync.sh /opt/installs/flink
xsync.sh /etc/profile

五、启动

#启动HDFS  
start-dfs.sh
#启动集群
start-cluster.sh
#启动历史服务器
historyserver.sh start

六、观察webUI 

http://bigdata01:8081   -- Flink集群管理界面    当前有效,重启后里面跑的内容就消失了
http://bigdata01:8082   -- Flink历史服务器管理界面,及时服务重启,运行过的服务都还在 

 

 

两者的区别:首先可以先把服务都停止

然后再重启,发现8081上已经完成的任务中是空的,而8082上的历史任务都还在,原因是8082读取了hdfs上的一些数据,而8081没有。

但是从web提供的功能来看,8081提供的功能还是比8082要丰富的多。

七、提交官方示例测试

1、使用官方提供的文件测试,输出在控制台:

flink run  /opt/installs/flink/examples/batch/WordCount.jar

 

2、指定单词统计的文件路径和输出路径:

flink run  /opt/installs/flink/examples/batch/WordCount.jar --input 输入数据路径 --output 输出数据路径

 

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com