您的位置:首页 > 文旅 > 美景 > Flink集群搭建

Flink集群搭建

2024/10/9 16:17:53 来源:https://blog.csdn.net/chou_qi/article/details/140519891  浏览:    关键词:Flink集群搭建

(1)JAVA_HOME 配置
conf/flink-conf.yaml env.java.home

(2)与Hadoop关联,如果确认使用Hadoop相关功能,需要关注对应的版本。如果不使用,则随意
使用flink版本
下载最新版本后,将存档复制到您的主节点并解压缩它:
tar xzf flink-.tgz
cd flink-

(3)配置Flink
编辑conf / flink-conf.yaml为集群配置Flink

1.设置 jobmanager.rpc.address 密钥以指向您的主节点

2.内存设置

jobmanager.memory.process.size 主节点flink最大内存 (MB)
taskmanager.memory.process.size 工作节点flink最大内存(MB)

3.提供集群中所有用作工作的节点(即运行TaskManager的节点)

编辑文件 conf / workers 并输入每个工作程序节点的IP /主机名。
示例:
三个节点(IP地址从10.0.0.1 到10.0.0.3且主机名master,worker1,worker2)
的设置,并显示了配置文件的内容
在这里插入图片描述
/path/to/flink/conf/flink-conf.yaml
jobmanager.rpc.address: 10.0.0.1
/path/to/flink/conf/workers
10.0.0.2
10.0.0.3

4.每台 slot 数量设置
每台计算机可用的CPU数(taskmanager.numberOfTaskSlots)

5.集群中的cpu数量总数
parallelism.default

6.临时目录
io.tmp.dirs

(4)启动flink/停止flink
前提: 必须能够ssh所有节点(jobManager)
bin/start-cluster.sh
bin/stop-cluster.sh

(5)添加jobmanager/taskmanager 到集群
使用 bin/jobmanager.sh 或 bin/taskmanager.sh
添加jobmanager:
bin/jobmanager.sh ((start|start-foreground) [host] [webui-port])|stop|stop-all
添加TaskManager
bin/taskmanager.sh start|start-foreground|stop|stop-all

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com