一、前置知识点
1.1 生产环境可部署Kubernetes集群的两种方式
目前生产部署Kubernetes集群主要有两种方式：
① kubeadm
Kubeadm是一个K8s部署工具，提供kubeadm init和kubeadm join，用于快速部署Kubernetes集群。
② 二进制包
从github下载发行版的二进制包，手动部署每个组件，组成Kubernetes集群。
这里采用kubeadm搭建集群
kubeadm工具功能：
- kubeadm init：初始化一个Master节点
- kubeadm join：将工作节点加入集群
- kubeadm upgrade：升级K8s版本
- kubeadm token：管理 kubeadm join 使用的令牌
- kubeadm reset：清空 kubeadm init 或者 kubeadm join 对主机所做的任何更改
- kubeadm version：打印 kubeadm 版本
- kubeadm alpha：预览可用的新功能
1.2 准备环境
服务器要求：
- 建议最小硬件配置：2核CPU、2G内存、20G硬盘
- 服务器最好可以访问外网，会有从网上拉取镜像需求，如果服务器不能上网，需要提前下载对应镜像并导入节点
软件环境：
| 软件 | 版本 |
| 操作系统 | CentOS7.9_x64 （mini） |
| Docker | 20-ce |
| Kubernetes | 1.26 |
服务器规划：
| 角色 | IP | 主机名 |
| k8s-master | 192.168.1.71 | k8s-master-1-71 |
| k8s-node1 | 192.168.1.72 | k8s-node1-1-72 |
| k8s-node2 | 192.168.1.73 | k8s-node2-1-73 |
架构图：
二、环境准备
2.1 操作系统初始化配置（所有节点）
1）设置网卡命名（不强求）
cat /etc/default/grub
...
GRUB_CMDLINE_LINUX="crashkernel=auto rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rhgb quiet net.ifnames=0 biosdevname=0"...
grub2-mkconfig -o /boot/grub2/grub.cfg
reboot //重启生效2）配置IP地址（以1.71为例）
[root@k8s-master-1-71 ~]# cat /etc/sysconfig/network-scripts/ifcfg-eth0IPADDR=192.168.1.71
PREFIX=24
GATEWAY=192.168.1.254
DNS1=223.5.5.5
...3）关闭防火墙
systemctl stop firewalld
systemctl disable firewalld4）关闭 selinux
setenforce 0 # 临时配置
sed -i 's/enforcing/disabled/' /etc/selinux/config # 永久配置
5）关闭 swap
swapoff -a # 临时
sed -ri 's/.*swap.*/#&/' /etc/fstab # 永久6）根据规划设置主机名
hostnamectl set-hostname <hostname>7）添加 hosts 解析
cat >> /etc/hosts << EOF
192.168.1.71 k8s-master
192.168.1.72 k8s-node1
192.168.1.73 k8s-node2
EOF8）将桥接的IPv4流量传递到iptables的链
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system # 生效9）配置YUM源
wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo10）时间同步
yum install ntpdate -y
ntpdate time.windows.com
(echo "*/5 * * * * /usr/sbin/ntpdate -u time.windows.com") | crontab
crontab -l
*/5 * * * * /usr/sbin/ntpdate -u time.windows.com
11）配置内核模块
cat >> /etc/modules-load.d/ipvs.conf <<EOF
ip_vs
ip_vs_rr
ip_vs_wrr
ip_vs_sh
nf_conntrack
ip_tables
ip_set
xt_set
ipt_set
ipt_rpfilter
ipt_REJECT
ipip
EOFsystemctl restart systemd-modules-load.servicelsmod | grep -e ip_vs -e nf_conntrack
ip_vs_sh 16384 0
ip_vs_wrr 16384 0
ip_vs_rr 16384 0
ip_vs 155648 6 ip_vs_rr,ip_vs_sh,ip_vs_wrr
nf_conntrack 139264 1 ip_vs
nf_defrag_ipv6 24576 2 nf_conntrack,ip_vs
nf_defrag_ipv4 16384 1 nf_conntrack
libcrc32c 16384 4 nf_conntrack,btrfs,raid456,ip_vs12）内核参数调优
cat <<EOF >> /etc/sysctl.conf
fs.file-max = 6815744
fs.nr_open = 1048576
net.ipv4.tcp_max_tw_buckets = 102400
net.ipv4.tcp_max_syn_backlog = 20480
net.core.somaxconn = 102400
net.core.netdev_max_backlog = 32768
net.ipv6.conf.all.disable_ipv6 = 0
net.ipv6.conf.default.disable_ipv6 = 0
net.ipv6.conf.lo.disable_ipv6 = 0
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv6.conf.all.forwarding = 1
EOF13）下载基本软件
yum -y install wget vim net-tools jq telnet lvm2 git tar curl nfs-kernel-server chrony bash-completion2.2 安装 Docker / kubeadm / kubelet（所有节点）
2.2.1 安装Docker
# 下载 docker 镜像源
wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo# 安装 docker-ce
yum -y install docker-ce# 开启 docker 开机自启
systemctl enable docker && systemctl start docker# 查看docker版本
docker --version
Docker version 23.0.1, build a5ee5b1
2.2.2 配置镜像下载加速器
cat > /etc/docker/daemon.json << EOF
{"registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"],"exec-opts": ["native.cgroupdriver=systemd"]
}
EOF
systemctl restart dockerdocker info //查看docker信息
Client:Context: defaultDebug Mode: falsePlugins:buildx: Docker Buildx (Docker Inc.)Version: v0.10.2Path: /usr/libexec/docker/cli-plugins/docker-buildxcompose: Docker Compose (Docker Inc.)Version: v2.16.0Path: /usr/libexec/docker/cli-plugins/docker-composescan: Docker Scan (Docker Inc.)Version: v0.23.0Path: /usr/libexec/docker/cli-plugins/docker-scan
...Registry Mirrors:https://b9pmyelo.mirror.aliyuncs.com/Live Restore Enabled: false
参考：配置Docker镜像加速器-阿里云开发者社区
2.2.3 安装cri-dockerd（CRI容器运行时）
Kubernetes v1.24 移除 docker-shim 的支持，而Docker Engine默认又不支持CRI标准，因此二者默认无法再直接集成。为此，Mirantis和Docker联合创建了cri-dockerd项目，用于为Docker Engine提供一个能够支持到CRI规范的桥梁，从而能够让Docker作为Kubernetes容器引擎。如图所示：
补充：containerd 是自带CRI，不需要 cri-docker 的支持，且 containerd 是集成在dockerd 中的；
wget https://github.com/Mirantis/cri-dockerd/releases/download/v0.3.1/cri-dockerd-0.3.1-3.el7.x86_64.rpm
rpm -ivh cri-dockerd-0.3.1-3.el7.x86_64.rpm指定依赖镜像地址：
vi /usr/lib/systemd/system/cri-docker.service
ExecStart=/usr/bin/cri-dockerd --container-runtime-endpoint fd:// --pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:3.7
systemctl daemon-reload
systemctl enable cri-docker && systemctl start cri-docker2.2.4 添加阿里云YUM软件源
cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF2.2.5 安装kubeadm、kubelet 和 kubectl
由于版本更新频繁，这里指定版本号部署（注意，是所有节点安装）
yum install -y kubelet-1.26.0 kubeadm-1.26.0 kubectl-1.26.0
systemctl enable kubelet三、部署 k8s 集群
- 安装目录：/etc/kubernetes/
- 组件配置文件目录：/etc/kubernetes/manifests/
3.1 部署Kubernetes Master
在 k8s-Master 执行（192.168.1.71）
kubeadm init \--apiserver-advertise-address=192.168.1.71 \--image-repository registry.aliyuncs.com/google_containers \--kubernetes-version v1.26.0 \--service-cidr=10.96.0.0/12 \--pod-network-cidr=10.244.0.0/16 \--cri-socket=unix:///var/run/cri-dockerd.sock \--ignore-preflight-errors=all
- --apiserver-advertise-address 集群通告地址
- --image-repository 由于默认拉取镜像地址k8s.gcr.io国内无法访问，这里指定阿里云镜像仓库地址
- --kubernetes-version K8s版本，与上面安装的一致
- --service-cidr 集群内部虚拟网络，Pod统一访问入口
- --pod-network-cidr Pod网络，与下面部署的CNI网络组件yaml中保持一致
- --cri-socket 指定cri-dockerd接口，如果是containerd则使用--cri-socket unix:///run/containerd/containerd.sock
- --ignore-preflight-errors=all，忽略所有错误告警
初始化完成后，会输出以下信息，其中有一个join命令，需记住，在后面步骤将会使用
To start using your cluster, you need to run the following as a regular user:mkdir -p $HOME/.kubesudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/configsudo chown $(id -u):$(id -g) $HOME/.kube/configAlternatively, if you are the root user, you can run:export KUBECONFIG=/etc/kubernetes/admin.conf
kubeadm join 192.168.1.71:6443 --token 0c2d3a.awbn79ctop2plelx \--discovery-token-ca-cert-hash sha256:7d286f2200085684c82ec9c08ef93df391ce4437d17360f9d4f5f0baf275bc57
拷贝 kubectl 使用的连接k8s认证文件到默认路径（将 admin.conf 文件拷贝到所有节点的 $HOME/.kube/config，即可以在每个节点使用 kubectl get nodes查看集群）
mkdir -p $HOME/.kubesudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/configsudo chown $(id -u):$(id -g) $HOME/.kube/config注意：由于网络插件还没有部署，还没有准备就绪 NotReady
参考资料：
- kubeadm init | Kubernetes
- Creating a cluster with kubeadm | Kubernetes
3.2 加入Kubernetes Node
在 k8s-Node 工作节点执行（192.168.1.72/73）
向集群添加新节点，将刚刚执行在 kubeadm init 输出中的 kubeadm join 命令，并手动加上相关
--cri-socket=unix:///var/run/cri-dockerd.sock
kubeadm join 192.168.1.71:6443 --token 0c2d3a.awbn79ctop2plelx \--discovery-token-ca-cert-hash sha256:7d286f2200085684c82ec9c08ef93df391ce4437d17360f9d4f5f0baf275bc57 --cri-socket=unix:///var/run/cri-dockerd.sock默认token有效期为24小时，当过期之后，该token就不可用了。这时就需要重新创建token，可以直接使用命令快捷生成：
kubeadm token create --print-join-command参考资料：kubeadm join | Kubernetes
3.3 部署容器网络（CNI） （k8s-master上运行）
Calico是一个纯三层的数据中心网络方案，是目前Kubernetes主流的网络方案
# 下载 calico 相关yaml文件
wget https://docs.projectcalico.org/v3.23/manifests/calico.yaml下载完后还需要修改里面定义Pod网络（CALICO_IPV4POOL_CIDR），与前面kubeadm init的 --pod-network-cidr指定的一样（例如：10.244.0.0/16 ）
- name: CALICO_IPV4POOL_CIDRvalue: "10.244.0.0/16"
修改完后文件后进行部署：
[root@k8s-master-1-71 ~]# kubectl apply -f calico.yaml
[root@k8s-master-1-71 ~]# kubectl get pods -n kube-system
NAME READY STATUS RESTARTS AGE
calico-kube-controllers-79568db7f8-7b8qt 1/1 Running 0 10h
calico-node-52hzv 1/1 Running 0 10h
calico-node-hwlxn 1/1 Running 0 10h
calico-node-qngqv 1/1 Running 0 10h
coredns-5bbd96d687-58m5t 1/1 Running 0 10h
coredns-5bbd96d687-dxwth 1/1 Running 0 10h
etcd-k8s-master-1-71 1/1 Running 0 10h
kube-apiserver-k8s-master-1-71 1/1 Running 0 10h
kube-controller-manager-k8s-master-1-71 1/1 Running 0 10h
kube-proxy-2np4n 1/1 Running 0 10h
kube-proxy-ch5qf 1/1 Running 0 10h
kube-proxy-sw9qt 1/1 Running 0 10h
kube-scheduler-k8s-master-1-71 1/1 Running 0 10h
参考资料：Creating a cluster with kubeadm | Kubernetes
3.4 部署 Dashboard
Dashboard是官方提供的一个UI，可用于基本管理K8s资源。
YAML下载地址：https://raw.githubusercontent.com/kubernetes/dashboard/v2.7.0/aio/deploy/recommended.yaml
默认Dashboard只能集群内部访问，修改Service为NodePort类型，暴露到外部：
vi recommended.yaml
...
kind: Service
apiVersion: v1
metadata:labels:k8s-app: kubernetes-dashboardname: kubernetes-dashboardnamespace: kubernetes-dashboard
spec:ports:- port: 443targetPort: 8443nodePort: 30001 # 添加 nodePort: 30001selector:k8s-app: kubernetes-dashboardtype: NodePort # 添加 nodePort
...
kubectl apply -f recommended.yaml[root@k8s-master-1-71 ~]# kubectl get pods -n kubernetes-dashboard
NAME READY STATUS RESTARTS AGE
dashboard-metrics-scraper-7bc864c59-hwnkh 1/1 Running 0 10h
kubernetes-dashboard-6c7ccbcf87-pts92 1/1 Running 0 10h
创建 service account 并绑定默认 cluster-admin 管理员集群角色：
# 创建用户
kubectl create serviceaccount dashboard-admin -n kubernetes-dashboard
# 用户授权
kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kubernetes-dashboard:dashboard-admin
# 获取用户Token
kubectl create token dashboard-admin -n kubernetes-dashboard访问地址：https://NodeIP:30001，使用输出的 token 登录 Dashboard
四、容器引擎Containerd（与Docker二选一）
containerd 是一个主流的容器引擎，与Docker相兼容，相比Docker轻量很多，containerd 是自带CRI，不需要 cri-docker 的支持，且 containerd 是集成在dockerd 中的，目前较为成熟。
自 1.24 版起，Dockershim 已从 Kubernetes 项目中移除，间接的希望能够从 containerd 作为今后的容器引擎，而当前主流的容器依旧还是 docker
参考资料：容器运行时 | Kubernetes
4.1 安装 containerd 容器
情况1：在未有安装 docker-ce 的情况下，需自己手动安装 containerd
① 解决内核模块及参数优化
# 将桥接的IPv4流量传递到iptables的链
cat <<EOF | sudo tee /etc/modules-load.d/containerd.conf
overlay
br_netfilter
EOFsudo modprobe overlay
sudo modprobe br_netfilter# 设置必需的 sysctl 参数，这些参数在重新启动后仍然存在
cat <<EOF | sudo tee /etc/sysctl.d/99-kubernetes-cri.conf
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward = 1
EOFsudo sysctl --system # 应用 sysctl 参数而不重新启动# 通过运行以下指令确认 br_netfilter 和 overlay 模块被加载：
lsmod | grep br_netfilter
lsmod | grep overlay② 下载安装 containerd
yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
yum install -y containerd.io
情况2：如果是由 docker 切换 containerd 以上①、②可省略
4.2 修改配置文件
生成 containerd config 配置文件
mkdir -p /etc/containerd
containerd config default > /etc/containerd/config.toml # 生成配置文件修改配置文件主要内容如下：
- pause镜像设置阿里云镜像仓库地址
- 拉取Docker Hub镜像配置加速地址设置为阿里云镜像仓库地址
vi /etc/containerd/config.toml
...[plugins."io.containerd.grpc.v1.cri"]sandbox_image = "registry.aliyuncs.com/google_containers/pause:3.2" //设置阿里云镜像仓库地址...[plugins."io.containerd.grpc.v1.cri".registry.mirrors] //在该plugins下添加以下2行，主要设置阿里云镜像加速器地址[plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]endpoint = ["https://b9pmyelo.mirror.aliyuncs.com"] systemctl restart containerd4.3 配置kubelet使用containerd
修改容器运行时为 /run/containerd/containerd.sock
ls /run/containerd/containerd.sockvi /var/lib/kubelet/kubeadm-flags.env
KUBELET_KUBEADM_ARGS="--container-runtime=remote --container-runtime-endpoint=unix:///run/containerd/containerd.sock --pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:3.8"systemctl restart kubelet# 验证
kubectl get node -o widek8s-node1 xxx containerd://1.5.6# 如果需要停用原来的 docker-ce，停止cri-docker即可
systemctl stop cri-docker如果需要将containerd再切换回docker，则将步骤回滚即可
4.4 管理容器工具 crictl
由于 containerd 默认提供的是 ctr 命令行工具管理容器，但功能比较简单，所以由社区开源的crictl工具去检查和调试容器，也可适配其它的容器运行时。
项目地址：GitHub - kubernetes-sigs/cri-tools: CLI and validation tools for Kubelet Container Runtime Interface (CRI) .
# 设置 crictl 工具连接 containerd ：
vi /etc/crictl.yaml
runtime-endpoint: unix:///run/containerd/containerd.sock //指定容器运行时的接口
image-endpoint: unix:///run/containerd/containerd.sock //指定容器的接口
timeout: 10 //超时时间
debug: false //debug输出4.5 docker与crictl命令对照表
| 镜像相关功能 | Docker | Containerd（crictl） |
| 显示本地镜像列表 | docker images | crictl images |
| 下载镜像 | docker pull | crictl pull |
| 上传镜像 | docker push | 无，例如buildk |
| 删除本地镜像 | docker rmi | crictl rmi |
| 查看镜像详情 | docker inspect IMAGE-ID | crictl inspect IMAGE-ID |
| 容器相关功能 | Docker | Containerd（crictl） |
| 显示容器列表 | docker ps | crictl ps |
| 创建容器 | docker create | crictl create |
| 启动容器 | docker start | crictl start |
| 停止容器 | docker stop | crictl stop |
| 删除容器 | docker rm | crictl rm |
| 查看容器详情 | docker inspect | crictl inspect |
| 附加容器 | docker attach | crictl attach |
| 执行命令 | docker exec | crictl exec |
| 查看日志 | docker logs | crictl logs |
| 查看容器资源 | docker stats | crictl stats |
| POD 相关功能 | Docker | Containerd（crictl） |
| 显示 POD 列表 | 无 | crictl pods |
| 查看 POD 详情 | 无 | crictl inspectp |
| 运行 POD | 无 | crictl runp |
| 停止 POD | 无 | crictl stopp |
小结：
本篇为 【Kubernetes CKA认证】的开篇学习笔记，希望这篇笔记可以让您初步了解到 如何使用kubeadm部署1.26版本的K8s集群，不妨跟着我的笔记步伐亲自实践一下吧！
Tip：毕竟两个人的智慧大于一个人的智慧，如果你不理解本章节的内容或需要相关笔记、视频，可私信小安，请不要害羞和回避，可以向他人请教，花点时间直到你真正的理解。