k8s介绍+k8s部署

k8s介绍+k8s部署

Kubernetes介绍

官网：https://kubernetes.io/

一、应用部署方式演变

1、传统部署：互联网早期，会直接将应用程序部署在物理机上

优点：简单，不需要其他技术的参与

缺点：不能为应用程序定义资源使用边界，很难合理地分配计算资源，而且程序之间容器产生影响

2、虚拟化部署：可以在一台物理机上运行多个虚拟机，每个虚拟机都是独立的一个环境

优点：程序环境不会相互产生影响，提供了一定程度的安全性

缺点： 增加了操作系统，浪费了部分资源

3、容器化部署：与虚拟化类似，但是共享了操作系统

优点：可以保证每个容器拥有自己的文件系统、CPU、内存、进程空间等。

运行应用程序所需要的资源都被容器包装，并和底层基础架构解耦。

容器化的应用程序可以跨云服务商、跨Linux操作系统发行版进行部署。

容器化部署方式给带来很多便利，但是也会出现一些问题，比如说：

（1）一个容器故障停机了，怎么样让另外一个容器立刻启动去替补停机的容器

（2）当并发访问量变大的时候，怎么样做到横向扩展容器数量

这些容器管理的问题统称为容器编排问题，为了解决这些容器编排问题，就产生了一些容器编排的软件：

Swarm：docker自己的容器编排工具

Mesos：apache的一个资源统一管控的工具，需要和marathon结合使用

Kubernetes：google开源的容器编排工具

二、kubernetes简介

Kubernetes，是一个全新的基于容器技术的分布式架构领先方案，是谷歌严格保密十几年的秘密武器—Borg系统的一个开源版本，于2014年9月发布第一个版本，2015年7月发布第二个正式版本。

Kubernetes的本质是一组服务器集群，它可以在集群的每个节点上运行特定的程序，来对节点中的容器进行管理。目的是实现资源管理的自动化，主要提供了如下的主要功能：

1、自我修复：一旦某个容器崩溃，能够在1秒中左右迅速启动新的容器

2、弹性伸缩：可以根据需要，自动对集群中正在运行的容器数量进行调整。

3、服务发现：服务可以通过自动发现的形式找到它所依赖的服务

4、负载均衡：如果一个服务启动了多个容器，能够自动实现请求的负载均衡

5、版本回退：如果发现新发布的程序版本问题，可以立即回退到原来的版本

6、存储编排：可以根据容器自身的需求自动创建存储卷

三、kubernetes组件

一个kubernetes集群主要是由控制节点（master）、工作节点（node）构成，每个节点上都会安装不同的组件。

Master：集群的控制平面，负责集群的决策（管理）

Apiserver：资源操作的唯一入口，接收用户输入的命令，提供认证、授权、API注册和发现等机制。

Scheduler：负责集群资源调度，按照预定的调度策略将pod调度到相应的node节点上。

ControllerManager：负责维护集群的状态，比如程序部署安排、故障检测、自动扩展、滚动更新等。

Etcd：负责存储集群中各种资源对象的信息。

Node：集群的数据平面，负责为容器提供运行环境（干活）

Kubelet：负责维护容器的生命周期，即通过控制docker来创建、更新、销毁容器

Docker：负责节点上容器的各种操作

下面以部署一个nginx服务来说明kubernetes系统各个组件的调用关系：

1、首先要明确，一旦kubernetes环境启动之后，master和node都会想自身的信息存储导etcd数据库中

2、一个nginx服务的安装请求会首先被发送到master节点的apiserver组件

3、Apiserver组件会调用scheduler组件来决定到底应该把这个服务安装到哪个node节点上

4、Apiserver调用controller-manager去调度node节点安装nginx服务

5、Kubelet接收到指令后，会通知docker，然后由docker来启动一个nginx的pod，pod是kubernetes的最小操作单元，容器必须跑在pod中

一个nginx服务就运行了，如果需要访问nginx，就需要通过kube-proxy来对pod产生访问的代理，这样外界用户就可以访问集群中的nginx服务了。

四、kubernetes概念

Master：集群控制节点，每个集群需要至少一个master节点负责集群的管控

Node：工作负载节点，由master分配容器到这些node工作节点上，然后node节点上的docker负责容器的运行

Pod：kubernetes的最小控制单元，容器都是运行在pod中的，一个pod中可以有1个或者多个容器

Controller：控制器，通过它来实现对pod的管理，比如启动pod、停止pod、伸缩pod的数量等等

Service：pod对外服务的统一入口，下面可以维护者同一类的多个pod

Label：标签，用于对pod进行分类，同一类pod会拥有相同的标签

Namespace：命名空间，用来隔离pod的运行环境

Rocky Linux 9.4 搭建k8s-1.28.0 + docker一主多从集群测试环境

1. kubernetes集群规划

集群各节点资源规划分配

主机名	IP地址	角色	操作系统	硬件配置
master	192.168.110.11	管理节点	Rocky Linux 9.4	2core/4G内存/50G
node	192.168.110.22	工作节点	Rocky Linux 9.4	2core/4G内存/50G
node	192.168.110.33	工作节点	Rocky Linux 9.4	2core/4G内存/50G

2. 操作系统准备工作

2.1. 配置主机名称

2.1.1. Master节点运行

[root@localhost ~]# hostnamectl hostname master

2.1.2. Node1节点运行

[root@localhost ~]# hostnamectl hostname node1

2.1.3. Node2节点运行

[root@localhost ~]# hostnamectl hostname node2

2.2. 配置系统hosts文件（全部节点）

[root@master ~]# cat /etc/hosts 
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain4
192.168.110.11 master
192.168.110.22 node1
192.168.110.33 node2

2.3. 关闭防火墙和selinux（全部节点）

[root@master ~]# systemctl stop firewalld
[root@master ~]# systemctl disable firewalld
[root@master ~]# getenforce 
Disabled

2.4.时钟同步（全部节点）

[root@master ~]# systemctl restart chronyd
[root@master ~]# systemctl enable chronyd
[root@master ~]# hwclock -w

2.5. 配置国内系统镜像源和安装epel源

2.4.1. 配置阿里云系统源（全部节点）。阿里云网上的文件名是Rocky.repo，系统上的是rocky-*.repo。

[root@master ~]# sed -e 's|^mirrorlist=|#mirrorlist=|g' \-e 's|^#baseurl=http://dl.rockylinux.org/$contentdir|baseurl=https://mirrors.aliyun.com/rockylinux|g' \-i.bak \/etc/yum.repos.d/rocky-*.repo

2.4.2. 配置epel源（全部节点）

文件内容取自我的华为云主机如下

[root@master ~]# cat /etc/yum.repos.d/epel.repo
[epel]
name=Extra Packages for Enterprise Linux $releasever - $basearch
# It is much more secure to use the metalink, but if you wish to use a local mirror
# place its address here.
#baseurl=https://download.example/pub/epel/$releasever/Everything/$basearch/
#metalink=https://mirrors.fedoraproject.org/metalink?repo=epel-$releasever&arch=$basearch&infra=$infra&content=$contentdir
baseurl=https://repo.huaweicloud.com/epel/$releasever/Everything/$basearch/
enabled=1
gpgcheck=1
countme=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-$releasever[epel-debuginfo]
name=Extra Packages for Enterprise Linux $releasever - $basearch - Debug
# It is much more secure to use the metalink, but if you wish to use a local mirror
# place its address here.
#baseurl=https://download.example/pub/epel/$releasever/Everything/$basearch/debug/
#metalink=https://mirrors.fedoraproject.org/metalink?repo=epel-debug-$releasever&arch=$basearch&infra=$infra&content=$contentdir
baseurl=https://repo.huaweicloud.com/epel/$releasever/Everything/$basearch/debug/
enabled=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-$releasever
gpgcheck=1[epel-source]
name=Extra Packages for Enterprise Linux $releasever - $basearch - Source
# It is much more secure to use the metalink, but if you wish to use a local mirror
# place its address here.
#baseurl=https://download.example/pub/epel/$releasever/Everything/source/tree/
#metalink=https://mirrors.fedoraproject.org/metalink?repo=epel-source-$releasever&arch=$basearch&infra=$infra&content=$contentdir
baseurl=https://repo.huaweicloud.com/epel/$releasever/Everything/source/tree/
enabled=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-$releasever
gpgcheck=1

2.6. 修改系统最大打开文件数（全部节点）

[root@master ~]# vim /etc/security/limits.conf 

编辑文件，在文件后面添加一下两行数据

* soft nofile 65535
* hard nofile 65535

2.7. 修改内核参数（全部节点）

[root@master ~]# vim /etc/sysctl.conf 
打开文件，在文件后面填入以下几行。
net.ipv4.tcp_syncookies = 1 
net.ipv4.tcp_max_tw_buckets = 20480 
net.ipv4.tcp_max_syn_backlog = 20480
net.core.netdev_max_backlog = 262144
net.ipv4.tcp_fin_timeout = 20

并运行一下命令使得配置的sysctl.conf文件生效

[root@master1 ~]# sysctl -p

2.8. 关闭swap（全部节点）

[root@master ~]# vim /etc/fstab 
进入文件把swap注释
[root@master ~]# swapoff -a 
[root@master ~]# free -g total        used        free      shared  buff/cache   available
Mem:               3           1           1           0           1           2
Swap:              0           0           0

2.9. 安装系统性能分析工具和其他（全部节点）

[root@master ~]# yum install -y gcc autoconf sysstat

2.10. 开启bridge网桥过滤（全部节点）

编辑文件写入以下几行

[root@master ~]# cat /etc/sysctl.d/k8s.conf 
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1

加载br_netfilter模块，并查看

[root@master ~]# modprobe br_netfilter && lsmod | grep br_netfilter

加载配置文件，使其生效

[root@master ~]# sysctl -p /etc/sysctl.d/k8s.conf

3. Docker环境准备

3.1. 配置阿里云docker源（全部节点）

[root@master ~]# yum install -y yum-utils
[root@master ~]# yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

3.2. 查看可用的docker版本（全部节点）

[root@master ~]# yum list docker-ce.x86_64 --showduplicates | sort -r

3.3. 安装docker，指定安装25.0.5-1.el9版本（全部节点）

[root@master ~]# yum -y install docker-ce-25.0.5-1.el9

3.4. 配置Docker Cgroup控制组（全部节点）

[root@master ~]# cat /etc/docker/daemon.json 
{
"registry-mirrors": [
"https://docker.m.daocloud.io",
"https://dockerproxy.com",
"https://docker.mirrors.ustc.edu.cn",
"https://docker.nju.edu.cn"
], "exec-opts": ["native.cgroupdriver=systemd"]}

3.5. 启动Docker服务并设置随机自启（全部节点）

[root@master ~]# systemctl daemon-reload
[root@master ~]# systemctl restart docker 
[root@master ~]# systemctl enable docker

4. 配置cri-docker

4.1. 下载cri-docker

[root@master ~]# wget -c https://github.com/Mirantis/cri-dockerd/releases/download/v0.3.9/cri-dockerd-0.3.9.amd64.tgz

4.2. 解压cri-docker

[root@master ~]#tar -xvf cri-dockerd-0.3.9.amd64.tgz --strip-components=1 -C /usr/local/bin/

4.3. 下载cri-docker service文件

[root@master01 ~]# wget -O /etc/systemd/system/cri-docker.service https://raw.githubusercontent.com/Mirantis/cri-dockerd/master/packaging/systemd/cri-docker.service[root@master01 ~]# wget -O /etc/systemd/system/cri-docker.socket https://raw.githubusercontent.com/Mirantis/cri-dockerd/master/packaging/systemd/cri-docker.socket

4.4. 编辑cri-docker.server

修改ExecStart行内容为

ExecStart=/usr/local/bin/cri-dockerd --pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:3.9 --container-runtime-endpoint=unix:///var/run/cri-dockerd.sock --cri-dockerd-root-directory=/var/lib/dockershim --cri-dockerd-root-directory=/var/lib/docker

4.5. 编辑cri-docker.socket

修改ListenStream行内容为

ListenStream=/var/run/cri-dockerd.sock

4.6. 复制cri-dockerd-0.3.9.amd64.tgz到其他节点

[root@master ~]# scp cri-dockerd-0.3.9.amd64.tgz root@node1:/root/
[root@master01 ~]# scp cri-dockerd-0.3.9.amd64.tgz root@node2:/root/

4.7. 节点解压cri-docker

[root@node1 ~]# tar -xvf cri-dockerd-0.3.9.amd64.tgz --strip-components=1 -C /usr/local/bin/
[root@node2 ~]# tar -xvf cri-dockerd-0.3.9.amd64.tgz --strip-components=1 -C /usr/local/bin/

4.8. 复制修改好的service文件到其他节点

[root@master1 ~]# scp /etc/systemd/system/cri-docker.s* root@node1:/etc/systemd/system/
[root@master2 ~]# scp /etc/systemd/system/cri-docker.s* root@node2:/etc/systemd/system/

4.9. 启动并设置自启动

[root@master ~]# systemctl daemon-reload
[root@master ~]# systemctl restart cri-docker
[root@master ~]# systemctl enable cri-docker

5. kubeadm部署kubernetes集群

5.1. 配置阿里云k8s源（全部节点）

编辑文件/etc/yum.repos.d/k8s.repo

[root@master ~]# cat /etc/yum.repos.d/k8s.repo 
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes-new/core/stable/v1.28/rpm/
enabled=1
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes-new/core/stable/v1.28/rpm/repodata/repomd.xml.key

5.2. 安装集群所需软件包kubelet kubeadm kubectl（全部节点）

[root@master ~]# yum install -y kubelet kubeadm kubectl

5.3. 配置k8s Cgoup控制组（全部节点）

[root@master ~]# vim /etc/sysconfig/kubelet

打开文件写入以下行

KUBELET_EXTRA_ARGS="--cgroup-driver=systemd"

5.4. 配置kubelet自启动（全部节点）

[root@master ~]# systemctl enable kubelet.service

5.5. 初始化集群（master节点运行）

5.5.1. 打印master节点所需的镜像文件（master节点运行）

[root@master1 ~]# kubeadm config images list

5.5.2. 打印集群初始化配置文件（master节点运行）

[root@master ~]# kubeadm config print init-defaults > kubeadm-config.yaml 

5.5.3. 修改参数（master节点）

[root@master ~]# vim kubeadm-config.yaml
…
localAPIEndpoint:advertiseAddress: 192.168.110.11 #修改，集群初始化的主节点IPbindPort: 6443
nodeRegistration:criSocket: unix:///var/run/cri-dockerd.sock #修改使用dockerimagePullPolicy: IfNotPresentname: master  #修改节点名称taints: null
…
…
…
imageRepository: registry.cn-hangzhou.aliyuncs.com/google_containers #修改使用阿里云镜像仓库

5.5.4. 使用配置文件初始化（master节点运行）

[root@master01 ~]# kubeadm init --config kubeadm-config.yaml --upload-certs

–upload-certs参数是将集群密钥添加到etcd数据库

5.5.5. 配置环境变量（master节点运行）

根据初始化完成提示运行下面行

  mkdir -p $HOME/.kubesudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/configsudo chown $(id -u):$(id -g) $HOME/.kube/config

5.5.6. 工作节点加入集群（工作节点运行）

根据初始化完成提示将工作节点添加入集群

kubeadm join 192.168.110.11:6443 --token abcdef.0123456789abcdef \--discovery-token-ca-cert-hash sha256:c502ee17a3b85a4ca33cfab83cce6e9a454a8c85b50e68bbefa056eed472ca96--cri-socket=unix:///var/run/cri-dockerd.sock

scp

注意：–cri-socket=unix:///var/run/cri-dockerd.sock参数是指定使用docker作为容器管理引擎。

5.6. 下载calico文件（master节点运行）

Calico是为集群中的 Pod 提供网络功能。

[root@master ~]# wget https://raw.githubusercontent.com/projectcalico/calico/v3.24.1/manifests/calico.yaml

5.7. 创建calico网络（master节点运行）

[root@master01 ~]# kubectl apply -f calico.yaml

5.8. 查看集群各节点状态

[root@master ~]# kubectl get nodes
NAME     STATUS   ROLES           AGE   VERSION
master   Ready    control-plane   27h   v1.28.15
node1    Ready    <none>          27h   v1.28.15
node2    Ready    <none>          27h   v1.28.15

5.9. 查看k8s集群的各组件

[root@master ~]# kubectl get pods -n kube-system
NAME                                      READY   STATUS    RESTARTS      AGE
calico-kube-controllers-9d57d8f49-gchdn   1/1     Running   2 (10h ago)   27h
calico-node-rwcj2                         1/1     Running   2 (10h ago)   27h
calico-node-wtl66                         1/1     Running   2 (10h ago)   27h
calico-node-zvf2b                         1/1     Running   3             27h
coredns-6554b8b87f-4nhjv                  1/1     Running   2 (10h ago)   27h
coredns-6554b8b87f-jx88p                  1/1     Running   2 (10h ago)   27h
etcd-master                               1/1     Running   3 (75m ago)   27h
kube-apiserver-master                     1/1     Running   3 (75m ago)   27h
kube-controller-manager-master            1/1     Running   3 (75m ago)   27h
kube-proxy-6dz89                          1/1     Running   2 (10h ago)   27h
kube-proxy-7wvvg                          1/1     Running   3 (75m ago)   27h
kube-proxy-knrwh                          1/1     Running   2 (10h ago)   27h
kube-scheduler-master                     1/1     Running   3 (75m ago)   27h

插件

yum -y install vim bash-completion net-tools