任务A：大数据平台搭建（容器环境）（15分）
环境搭建请看这篇文章大数据模块A环境搭建
前提条件已经在容器里搭建完hadoop了,没搭建的请看这篇Hadoop 完全分布式安装配置
服务端登录地址详见各任务服务端说明。
补充说明：宿主机可通过Asbru工具或SSH客户端进行SSH访问；
相关软件安装包在宿主机的/opt目录下，请选择对应的安装包进行安装，用不到的可忽略；
所有任务中应用命令必须采用绝对路径；
进入Master节点的方式为
docker exec -it master /bin/bash
进入Slave1节点的方式为
docker exec -it slave1 /bin/bash
进入Slave2节点的方式为
docker exec -it slave2 /bin/bash
三个容器节点的root密码均为123456
提前准备好flink-1.14.0-bin-scala_2.12.tgz放在宿主机的/opt/下（模拟的自己准备，比赛时会提供）
Hadoop 完全分布式安装配置
已完成搭建Hadoop完全分布式安装配置
Flink on Yarn安装配置
本任务需要使用root用户完成相关配置，已安装Hadoop及需要配置前置环境，具体要求如下：
1、 从宿主机/opt目录下将文件flink-1.14.0-bin-scala_2.12.tgz复制到容器Master中的/opt/software（若路径不存在，则需新建）中,将Flink包解压到路径/opt/module中(若路径不存在，则需新建)，将完整解压命令复制粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下；
第一步：从宿主机/opt目录下将文件flink-1.14.0-bin-scala_2.12.tgz复制到容器Master中的/opt/software（若路径不存在，则需新建）中
[root@Bigdata ~]# docker cp /opt/flink-1.14.0-bin-scala_2.12.tgz master:/opt/software第二步：将Flink包解压到路径/opt/module中(若路径不存在，则需新建)
[root@master ~]# tar zxvf /opt/software/flink-1.14.0-bin-scala_2.12.tgz -C /opt/module/2、 修改容器中/etc/profile文件，设置Flink环境变量并使环境变量生效。在容器中/opt目录下运行命令flink --version，将命令与结果截图粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下；
第一步：重命名
[root@master ~]# mv /opt/module/flink-1.14.0 /opt/module/flink第二步： 修改容器中/etc/profile文件，设置Flink环境变量
在文件末尾添加
#FLINK_HOME
export FLINK_HOME=/opt/module/flink
export PATH=$PATH:$FLINK_HOME/bin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_CLASSPATH=`hadoop classpath`第三步： 使环境变量生效
[root@master ~]# source /etc/profile第四步：在容器中/opt目录下运行命令flink --version
[root@master ~]# cd /opt/
[root@master opt]# flink --version
Version: 1.14.0, Commit ID: 460b386
[root@master opt]# [root@master opt]#
3、 开启Hadoop集群，在yarn上以per job模式（即Job分离模式，不采用Session模式）运行 $FLINK_HOME/examples/batch/WordCount.jar，将运行结果最后10行截图粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下。
第一步：配置flink
在flink-conf.yaml文件末尾插入
vi /opt/module/flink/conf/flink-conf.yaml
classloader.check-leaked-classloader: false第二步：开启Hadoop集群
start-all.sh第三步：在yarn上以per job模式（即Job分离模式，不采用Session模式）运行 $FLINK_HOME/examples/batch/WordCount.jar
[root@master ~]# flink run -m yarn-cluster -p 2 -yjm 2G -ytm 2G $FLINK_HOME/examples/batch/WordCount.jar
声明：此文章为个人学习笔记，如文章有问题欢迎留言探讨，也希望您的指正 ！