一、Hadoop集群简介
- Hadoop集群包括两个集群：HDFS集群、YARN集群
- 两个集群逻辑上分离、通常物理上在一起
- 两个集群都是标准的主从架构集群
接下来回答几个问题。
- 如何理解两个集群逻辑上分离？
两个集群互相之间没有依赖、互不影响
- 如何理解两个集群物理上在一起？
某些角色进程往往部署在同一台物理服务器上
- 为什么没有MapReduce集群？有这样的说法吗？
MapReduce是计算框架、代码层面的组件 没有集群之说
集群分布情况图：
二、Hadoop部署模式
三、Hadoop源码编译
- 安装包、源码包下载地址
https://archive.apache.org/dist/hadoop/common/hadoop-3.1.4/
- 为什么要重新编译Hadoop源码?
匹配不同操作系统本地库环境，Hadoop某些操作比如压缩、IO需要调用系统本地 库， （*.so|*.dll）
修改源码、重构源码
- 如何编译Hadoop
源码包根目录下文件：BUILDING.txt 详细步骤参考附件资料
课程提供编译好的Hadoop安装包 hadoop-3.1.4-bin-snappy-CentOS7.tar.gz
源码编译步骤：https://blog.csdn.net/qq_41206014/article/details/145687947
四、Hadoop集群安装
1. 集群角色规划
- 角色规划的准则
根据软件工作特性和服务器硬件资源情况合理分配
比如依赖内存工作的NameNode是不是部署在大内存机器上？
- 角色规划注意事项
资源上有抢夺冲突的，尽量不要部署在一起
工作上需要互相配合的。尽量部署在一起
2. 服务器基础环境准备
1）三台节点准备：创建三个节点-CSDN博客
2）Hosts映射（3台机器）
vim /etc/hosts
3）防火墙关闭（3台机器）
systemctl stop firewalld.service #关闭防火墙systemctl disable firewalld.service #禁止防火墙开启自启