Kubernetes 简介和集群环境搭建
1. Kubernetes 简介
1.1 应用程序部署方式的演变
在部署应用程序的方式上,主要经历了三个阶段:
传统部署:互联网早期,会直接将应用程序部署在物理机上
优点:简单,不需要其它技术的参与
缺点:不能为应用程序定义资源使用边界,很难合理地分配计算资源,而且程序之间容易产生影响
虚拟化部署:可以在一台物理机上运行多个虚拟机,每个虚拟机都是独立的一个环境
优点:程序环境不会相互产生影响,提供了一定程度的安全性
缺点:增加了操作系统,浪费了部分资源
容器化部署:与虚拟化类似,但是共享了操作系统
注意:
容器化部署方式给带来很多的便利,但是也会出现一些问题,比如说:
一个容器故障停机了,怎么样让另外一个容器立刻启动去替补停机容器
当并发访问量变大的时候,怎么样做到横向扩展容器数量
1.2 容器编排应用
为了解决这些容器编排问题,就产生了一些容器编排的软件:
Swarm:Docker自己的容器编排工具
Mesos:Apache的一个资源统一管控的工具,需要和Marathon结合使用
Kubernetes:Google开源的的容器编排工具
1.3 Kubernetes 简介
kubernetes的本质是一组服务器集群,它可以在集群的每个节点上运行特定的程序,来对节点中的容器 进行管理。目的是实现资源管理的自动化。主要提供了如下的主要功能:
自我修复:一旦某一个容器崩溃,能够在1秒中左右迅速启动新的容器
弹性伸缩:可以根据需要,自动对集群中正在运行的容器数量进行调整
服务发现:服务可以通过自动发现的形式找到它所依赖的服务
负载均衡:如果一个服务起动了多个容器,能够自动实现请求的负载均衡
版本回退:如果发现新发布的程序版本有问题,可以立即回退到原来的版本
存储编排:可以根据容器自身的需求自动创建存储卷
1.4 K8S的设计架构
1.4.1 K8S各个组件用途
一个kubernetes集群主要是由控制节点(master)、工作节点(node)构成,每个节点上都会安装不同的组件
-
master:集群的控制平面,负责集群的决策
ApiServer : 资源操作的唯一入口,接收用户输入的命令,提供认证、授权、API注册和发现等机制
Scheduler : 负责集群资源调度,按照预定的调度策略将Pod调度到相应的node节点上
ControllerManager : 负责维护集群的状态,比如程序部署安排、故障检测、自动扩展、滚动更新 等
Etcd :负责存储集群中各种资源对象的信息
-
node: 集群的数据平面,负责为容器提供运行环境
kubelet:负责维护容器的生命周期,同时也负责Volume(CVI)和网络(CNI)的管理
Container runtime:负责镜像管理以及Pod和容器的真正运行(CRI)
kube-proxy:负责为Service提供cluster内部的服务发现和负载均衡
1.4.2 K8S各个组件之间的调用关系
当我们要运行一个web服务时 :
- kubernetes环境启动之后,master和node都会将自身的信息存储到etcd数据库中
- web服务的安装请求会首先被发送到master节点的apiServer组件
- apiServer组件会调用scheduler组件来决定到底应该把这个服务安装到哪个node节点上 在此时,它会从etcd中读取各个node节点的信息,然后按照一定的算法进行选择,并将结果告知 apiServer
- apiServer调用controller-manager去调度Node节点安装web服务
- kubelet接收到指令后,会通知docker,然后由docker来启动一个web服务的pod
- 如果需要访问web服务,就需要通过kube-proxy来对pod产生访问的代理
1.4.3 K8S的分层架构
- 核心层:Kubernetes最核心的功能,对外提供API构建高层的应用,对内提供插件式应用执行环境
- 应用层:部署(无状态应用、有状态应用、批处理任务、集群应用等)和路由(服务发现、DNS解 析等)
- 管理层:系统度量(如基础设施、容器和网络的度量),自动化(如自动扩展、动态Provision等) 以及策略管理(RBAC、Quota、PSP、NetworkPolicy等)
- 接口层:kubectl命令行工具、客户端SDK以及集群联邦
生态系统:在接口层之上的庞大容器集群管理调度的生态系统,可以划分为两个范畴 - Kubernetes外部:日志、监控、配置管理、CI、CD、Workflow、FaaS、OTS应用、ChatOps等
- Kubernetes内部:CRI、CNI、CVI、镜像仓库、Cloud Provider、集群自身的配置和管理等
2. K8S集群环境搭建
2.1 K8S中容器的管理方式
K8S 集群创建方式有3种:
centainerd:默认情况下,K8S在创建集群时使用的方式
docker:Docker使用的普记录最高,虽然K8S在1.24版本后已经费力了 kubelet对docker的支持,但时可以借助 cri-docker方式来实现集群创建
cri-o: CRI-O的方式是Kubernetes创建容器最直接的一种方式,在创建集群的时候,需要借助于cri-o插件的方 式来实现Kubernetes集群的创建。
2.2 K8S环境部署说明
K8S中文官网:Kubernetes
主机名 | IP地址 | 角色 |
---|---|---|
harbor | 192.168.194.198 | harbor仓库 |
master | 192.168.194.100 | K8S集群控制节点 |
node1 | 192.168.194.10 | K8S集群工作节点 |
node2 | 192.168.194.20 | K8S集群工作节点 |
注意:
所有节点禁用selinux和防火墙
所有节点同步时间和解析
所有节点安装docker-ce
所有节点禁用swap,注意注释掉/etc/fstab文件中的定义
2.3 集群环境初始化步骤
2.3.1 harbor配置
# 安装docker
[root@harbor ~]# cat /etc/yum.repos.d/docker.repo
[docker]
name=docker
baseurl=https://mirrors.aliyun.com/docker-ce/linux/rhel/9.4/x86_64/stable/
gpgcheck=0
[root@harbor ~]# yum install docker-ce -y
[root@harbor ~]# systemctl enable --now docker# 生成认证key和证书
[root@harbor ~]# mkdir -p /data/certs
[root@harbor ~]# openssl req -newkey rsa:4096 \
-nodes -sha256 -keyout /data/certs/timinglee.org.key \
-addext "subjectAltName = DNS:harbor.timinglee.org" \ #指定备用名称
-x509 -days 365 -out /data/certs/timinglee.org.crt
[root@harbor ~]# ll /data/certs
# 在所有节点上创建 /etc/docker/certs.d/harbor.timinglee.org 目录
[root@master/node1/node2 ~]# mkdir -p /etc/docker/certs.d/harbor.timinglee.org/
# 上传
[root@harbor ~]# for i in 100 10 20; do scp /data/certs/timinglee.org.crt root@192.168.194.$i:/etc/docker/certs.d/harbor.timinglee.org/ca.crt; done# 使用Xftp上传 harbor-offline-installer-v2.5.4.tgz
[root@harbor ~]# cd /opt
[root@harbor opt]# tar zxf harbor-offline-installer-v2.5.4.tgz
[root@harbor opt]# cd harbor/
[root@harbor harbor]# cp harbor.yml.tmpl harbor.yml
[root@harbor harbor]# cat harbor.yml
5 hostname: harbor.timinglee.org
17 certificate: /data/certs/timinglee.org.crt
18 private_key: /data/certs/timinglee.org.key
34 harbor_admin_password: lee
[root@harbor harbor]# ./install.sh --with-chartmuseum
2.3.2 所有节点基础配置
# 所有节点禁用swap
[root@master/node1/node2 ~]# vim /etc/fstab
#注释掉这一行
#/dev/mapper/rhel-swap none swap defaults 0 0
[root@master/node1/node2 ~]# swapoff -a
[root@master/node1/node2 ~]# systemctl disable --now swap.target# 所有节点做本地域名解析
[root@master/node1/node2 ~]# vim /etc/hosts
192.168.194.198 harbor.timinglee.org
192.168.194.100 master
192.168.194.10 node1
192.168.194.20 node2# 所有节点安装docker
[root@master/node1/node2 ~]# cat /etc/yum.repos.d/docker.repo
[docker]
name=docker
baseurl=https://mirrors.aliyun.com/docker-ce/linux/rhel/9.4/x86_64/stable/
gpgcheck=0
[root@master/node1/node2 ~]# yum install docker-ce -y# 所有节点设定docker的资源管理模式为systemd
[root@master/node1/node2 ~]# cat /etc/docker/daemon.json
{#地址是本地harbor的地址"registry-mirrors": ["https://harbor.timinglee.org"]
}
[root@master/node1/node2 ~]# systemctl enable --now docker# 所有节点部署K8S仓库
[root@master/node1/node2 ~]# cat /etc/yum.repos.d/k8s.repo
[k8s]
name=k8s
baseurl=https://mirrors.aliyun.com/kubernetes-new/core/stable/v1.30/rpm/
gpgcheck=0
[root@master/node1/node2 ~]# dnf install kubelet-1.30.0 kubeadm-1.30.0 kubectl-1.30.0 -y# 设置kubectl命令补齐功能
[root@master/node1/node2 ~]# source < (kubectl completion bash)
[root@master/node1/node2 ~]# echo "source < (kubectl completion bash)" >> ~/.bashrc# 在所有节点安装cri-docker
# k8s从1.24版本开始移除了dockershim,所以需要安装cri-docker插件才能使用docker 软件下载: https://github.com/Mirantis/cri-dockerd
[root@master/node1/node2 ~]# dnf install libcgroup-0.41-19.el8.x86_64.rpm cri-dockerd-0.3.14-3.el8.x86_64.rpm -y
[root@master/node1/node2 ~]# cat /lib/systemd/system/cri-docker.service
#指定网络插件名称及基础容器镜像
ExecStart=/usr/bin/cri-dockerd --container-runtime-endpoint fd:// --network-plugin=cni --pod-infra-container-image=harbor.timinglee.org/k8s/pause:3.9[root@master/node1/node2 ~]# systemctl daemon-reload
[root@master/node1/node2 ~]# systemctl enable --now cri-docker
2.3.3 在master节点上拉取K8S所需要的镜像
在仓库新建项目 k8s
# 拉取K8s集群所需要的镜像(用的阿里云)
[root@master ~]# kubeadm config images pull \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version v1.30.0 \
--cri-socket=unix:///var/run/cri-dockerd.sock #指定cri-docker的套接字文件# 批量上传镜像到harbor仓库
[root@master ~]# docker images | awk '/google/{print $1 ":" $2}' | awk -F \{system("docker tag " $0 " harbor.timinglee.org/k8s/" $3)}'
[root@master ~]# docker images | awk '/k8s/{system("docker push " $1 ":"$2)}'
2.3.4 集群初始化
# 所有节点启动kubelet服务
[root@master/node1/node2 ~]# systemctl enable --now kubelet.service#执行初始化命令
[root@master ~]# kubeadm init --pod-network-cidr=10.244.0.0/16 \
--image-repository harbor.timinglee.org/k8s \
--kubernetes-version v1.30.0 \
--cri-socket=unix:///var/run/cri-dockerd.sock
#生成了一个令牌
kubeadm join 192.168.194.100:6443 --token 5hwptm.zwn7epa6pvatbpwf \
--discovery-token-ca-cert-hash sha256:52f1a83b70ffc8744db5570288ab51987ef2b563bf906ba4244a300f61e9db23#指定集群配置文件变量
[root@master ~]# echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile#查看当前节点状态,因为没有将工作节点node1/node2 加入到控制节点master 中
[root@master ~]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
master NotReady control-plane 43s v1.30.0# 给工作节点node1/node2 指定这个master令牌
[root@node1/node2 ~]# kubeadm join 192.168.194.100:6443 --token 5hwptm.zwn7epa6pvatbpwf \
--discovery-token-ca-cert-hash sha256:52f1a83b70ffc8744db5570288ab51987ef2b563bf906ba4244a300f61e9db23 \
--cri-socket=unix:///var/run/cri-dockerd.sock
注意:
在此阶段如果生成的集群token找不到了可以重新生成
[root@k8s-master ~]# kubeadm token create --print-join-command
kubeadm join 192.168.194.100:6443 --token 5hwptm.zwn7epa6pvatbpwf
–discovery-token-ca-cert-hash sha256:52f1a83b70ffc8744db5570288ab51987ef2b563bf906ba4244a300f61e9db23
2.3.5 安装flannel网络插件
官方网站:https://github.com/flannel-io/flannel
在仓库新建项目 flannel
# 查看当前节点状态,因为没有安装网络插件
[root@master ~]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
master NotReady control-plane 4m17s v1.30.0
node1 NotReady <none> 67s v1.30.0
node2 NotReady <none> 45s v1.30.0# Xftp上传下载好的 flannel-0.25.5.tag.gz 和 kube-flannel.yml
[root@master ~]# mkdir network
[root@master ~]# mv flannel-0.25.5.tag.gz kube-flannel.yml network/
[root@master ~]# cd network/
[root@master network]# docker load -i flannel-0.25.5.tag.gz
Loaded image: flannel/flannel:v0.25.5
Loaded image: flannel/flannel-cni-plugin:v1.5.1-flannel1# 给镜像打标签、并拉取镜像
[root@master ~]# docker tag flannel/flannel-cni-plugin:v1.5.1-flannel1 harbor.timinglee.org/flannel/flannel-cni-plugin:v1.5.1-flannel1
[root@k8s-master ~]# docker push harbor.timinglee.org/flannel/flannel-cni-plugin:v1.5.1-flannel1
[root@k8s-master ~]# docker tag flannel/flannel:v0.25.5 harbor.timinglee.org/flannel/flannel:v0.25.5
[root@k8s-master ~]# docker push harbor.timinglee.org/flannel/flannel:v0.25.5# 编辑kube-flannel.yml 修改镜像下载位置
[root@master ~]# vim kube-flannel.yml
image: flannel/flannel:v0.25.5
image: flannel/flannel-cni-plugin:v1.5.1-flannel1
image: flannel/flannel:v0.25.5# 安装flannel网络插件
[root@k8s-master ~]# kubectl apply -f kube-flannel.yml
# 查看集群节点
[root@k8s-master ~]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
master Ready control-plane 1m11s v1.30.0
node1 Ready <none> 41s v1.30.0
node2 Ready <none> 51s v1.30.0
所有阶段的STATUS为Ready状态,那么kubernetes就装好了!