K8S Gateway API 快速开始、胎教级教程

假设有如下三个节点的 K8S 集群：

​​

k8s31master 是控制节点

k8s31node1、k8s31node2 是工作节点

容器运行时是 containerd

一、Gateway 是什么

• 背景和目的

• 入口（Ingress）目前已停止更新。新的功能正在集成至网关 API 中。
• 在 Kubernetes 环境中，服务的网络访问管理至关重要。传统的 Ingress 资源在功能上存在一定局限性，例如对流量管理的细粒度控制不足、难以满足复杂的网络拓扑和多集群场景等需求。Gateway API 的出现就是为了克服这些局限性，提供更通用、更灵活且更具扩展性的网络流量管理解决方案，以适应现代云原生应用复杂的网络需求。

• 核心概念

• Gateway：代表了集群内的一个网络入口点，通常与底层的物理或虚拟网络设备相对应，定义了流量进入集群的位置以及相关的网络配置，如 IP 地址、端口等。
• GatewayClass：用于描述 Gateway 的类型和配置参数，它是对一类 Gateway 的抽象定义，例如可以定义基于 Nginx、Istio 等不同技术实现的 GatewayClass，每个 GatewayClass 可以有自己特定的配置选项，如负载均衡算法、TLS 配置等。
• HTTPRoute：用于定义 HTTP 流量的路由规则，通过匹配请求的路径、方法、头信息等条件，将流量路由到后端的不同服务或服务版本上，支持丰富的路由功能，如路径重写、请求头修改、流量分流等。
• TLSRoute：专门用于处理 HTTPS 加密流量的路由规则，定义了如何将加密的 TLS 流量路由到后端服务，包括 TLS 证书的管理和配置，以及根据 TLS 握手信息进行流量路由的规则。
• Service：Kubernetes 中的服务资源，是一组提供相同功能的 Pod 的抽象集合，通过 Service 可以实现对后端 Pod 的负载均衡和服务发现，Gateway API 通过与 Service 的结合，将外部流量路由到具体的后端服务上。

•  请求数据流

以下是使用 Gateway 和 HTTPRoute 将 HTTP 流量路由到服务的简单示例：

在此示例中，实现为反向代理的 Gateway 的请求数据流如下：

1. 客户端开始准备 URL 为 http://gateway.example.com 的 HTTP 请求
2. 客户端的 DNS 解析器查询目标名称并了解与 Gateway 关联的一个或多个 IP 地址的映射。
3. 客户端向 Gateway IP 地址发送请求；反向代理接收 HTTP 请求并使用 Host: 标头来匹配基于 Gateway 和附加的 HTTPRoute 所获得的配置。
4. 可选的，反向代理可以根据 HTTPRoute 的匹配规则进行请求头和（或）路径匹配。
5. 可选地，反向代理可以修改请求；例如，根据 HTTPRoute 的过滤规则添加或删除标头。
6. 最后，反向代理将请求转发到一个或多个后端。

•  资源链接

Gateway API 官网：https://gateway-api.sigs.k8s.io

NGINX Gateway Fabric 官网：https://docs.nginx.com/nginx-gateway-fabric

NGC github：https://github.com/nginx/nginx-gateway-fabric

Gateway API github：https://github.com/kubernetes-sigs/gateway-api

二、怎么找资源

Gateway API 是 Ingress API 的后继者。Gateway API 资源不是由 Kubernetes 原生实现的，而是被定义为受广泛实现支持的自定义资源（CustomResourceDefinition）。Gateway API CRD 是一个规范，就像 Java JDBC 一样，具体的实现依赖于各个厂商。

下面是官网列出的实现了 Gateway API 的一些项目，以及所处的阶段。

像我们熟悉的 NGINX Gateway Fabric、Istio、Envoy Gateway 都处于 GA 阶段。

我们今天来部署 NGINX Gateway Fabric，这个是 F5/Nginx 公司提供的一种 Gateway API 实现。

 

我们基于 NGINX Gateway Fabric 官网安装文档，来教大家如何安装 NGINX Gateway Fabric。

因为 NGINX Gateway Fabric 依赖 Gateway API CRD，所以第一步就是要安装 Gateway API CRD。

 NGF 与 K8S 的版本依赖关系倒是不大 1.19+即可，与 Gateway API CRD 的版本依赖比较大。

直接运行官网推荐的命令是肯定运行不了的，因为众所周知的原因，github.com 在国内是访问不了的。但是我们可以把命令请求的资源文件下载下来，直接在本地集群中运行。

kubectl kustomize "https://github.com/nginx/nginx-gateway-fabric/config/crd/gateway-api/standard?ref=v1.6.2" | kubectl apply -f -

• kubectl kustomize：命令用于根据指定的配置生成 Kubernetes 资源清单。这里指定的是一个来自 GitHub 仓库 nginx/nginx-gateway-fabric 的配置路径，ref=v1.6.2 表示使用该仓库 v1.6.2 版本的配置。kubectl kustomize 会读取该路径下的配置文件（如kustomization.yaml等），对其中定义的资源进行定制化处理，生成最终的 Kubernetes 资源清单文件内容。
• | kubectl apply -f -：| 是管道符，将 kubectl kustomize 命令的输出作为 kubectl apply -f - 的输入。kubectl apply -f - 中的 -f 表示从文件中读取资源配置来创建或更新 Kubernetes 资源，- 表示从标准输入读取。所以这部分命令会将 kubectl kustomize 生成的资源清单内容在 Kubernetes 集群中应用，即创建或更新对应的 Kubernetes 资源，比如可能会创建与 NGINX Gateway Fabric 相关的自定义资源，这些资源用于配置和管理基于 NGINX Gateway Fabric 的网关功能，像网关的路由规则、服务暴露方式等。

 https://github.com/nginx/nginx-gateway-fabric/config/crd/gateway-api/standard

https://github.com/kubernetes-sigs/gateway-api/config/crd 

执行这五份就可以，不过 Gateway API 官方也有提供一份统一的 yaml。

https://github.com/kubernetes-sigs/gateway-api/releases

我这里也提供给大家 standard-install.yaml。

三、部署

1）部署 Gateway API CRDs

[root@k8s31master gateway]# kubectl apply -f standard-install.yaml

# 查看是否安装到位
kubectl get crds | grep gateway.networking.k8s.io

2）部署 NGF CRDs

NGF 也有一些自定义资源，所以也要执行 crds.yaml。

[root@k8s31master gateway]# kubectl apply -f crds.yaml

 3）部署 NGF

因为是本地自建集群，所以没有云服务商 LoadBalancer 提供公网 IP，选择 NodePort 的方式暴露端口。

整个部署依赖两个镜像：

ghcr.io/nginx/nginx-gateway-fabric:1.6.2
ghcr.io/nginx/nginx-gateway-fabric/nginx:1.6.2

• 下载镜像

找个国内好访问的镜像站，在各个工作节点上提前下载好镜像。

# 在 node1 执行
[root@k8s31node1 ~]# ctr -n=k8s.io images pull ghcr.nju.edu.cn/nginx/nginx-gateway-fabric/nginx:1.6.2
[root@k8s31node1 ~]# ctr -n=k8s.io images pull ghcr.nju.edu.cn/nginx/nginx-gateway-fabric:1.6.2# 在 node2 执行
[root@k8s31node2 ~]# ctr -n=k8s.io images pull ghcr.nju.edu.cn/nginx/nginx-gateway-fabric/nginx:1.6.2
[root@k8s31node2 ~]# ctr -n=k8s.io images pull ghcr.nju.edu.cn/nginx/nginx-gateway-fabric:1.6.2

• 修改 deploy.yaml（提供给大家）

将 deploy.yaml 中 ghcr.io 全部替换为 ghcr.nju.edu.cn

 修改 Deployment 副本数

spec:replicas: 2
# 跟工作节点数量一致

 修改 Deployment Pod 亲和性

    affinity:podAntiAffinity:preferredDuringSchedulingIgnoredDuringExecution:- weight: 100podAffinityTerm:labelSelector:matchLabels:app.kubernetes.io/name: nginx-gatewaytopologyKey: kubernetes.io/hostname

 让每个节点上都安装 nginx-gateway-controller。官网给的 nginx-gateway-controller 的部署方式是 Deployment，官网也推荐使用 DaemonSet，在每一个节点上安装一份，对于请求处理的性能更佳。

•  运行

[root@k8s31master gateway]# kubectl apply -f deploy.yaml

•  验证

整个部署会帮我们创建 2 个 nginx-gateway-controller Pod，分别运行在两个工作节点上，负责监听请求：

kubectl get pod -n nginx-gateway -owide

创建了 1 个 gatewayclass 资源，引用 nginx-gateway-controller，且 gatewayclass 的名字叫 nginx:

kubectl get gatewayclass -n nginx-gateway

 

创建了一个 NodePort 的 Service，代理了那 2 个 nginx-gateway-controller Pod：

kubectl get svc -n nginx-gateway
kubectl describe svc -n nginx-gateway

 后续请求各个工作节点的 30185 端口，则会被 nginx-gateway-controller 80 端口接管。

 四、将流量路由到应用

  1）创建应用

apiVersion: apps/v1
kind: Deployment
metadata:name: tomcat-deploy
spec:replicas: 2selector:matchLabels:app: tomcattemplate:metadata:labels:app: tomcatspec:containers:- name: tomcatimage: tomcat:8.5-jre8-alpineimagePullPolicy: IfNotPresentports:- containerPort: 8080
---
apiVersion: v1
kind: Service
metadata:name: tomcat-svc
spec:type: ClusterIPselector:app: tomcatports:- port: 8080protocol: TCPtargetPort: 8080

创建了 2 个 tomcat Pod，和一个 Service，Service 暴露 8080 端口。

 2）创建 gateway

apiVersion: gateway.networking.k8s.io/v1
kind: Gateway
metadata:name: nginx-gatewaynamespace: default
spec:gatewayClassName: nginxlisteners:- name: httpprotocol: HTTPport: 80

gatewayClassName 要使用我们 NGF 为我们创建的名字 nginx。

gateway 监听 80 端口。

 3）创建 httproute

apiVersion: gateway.networking.k8s.io/v1
kind: HTTPRoute
metadata:name: example-routenamespace: default
spec:parentRefs:- name: nginx-gatewayhostnames:- "gateway.example.com"rules:- matches:- path:type: PathPrefixvalue: / backendRefs:- name: tomcat-svckind: Serviceport: 8080

• parentRefs：绑定我们新建的 gateway。
• hostnames：定义访问的主机名。
• rules.matches：定义路由规则，PathPrefix 表示路径前缀匹配。
• backendRefs：定义后端服务以及服务端口。

 4）访问

curl -H "Host: gateway.example.com" http://192.168.40.20:30185/

 集群外随便找台机子访问都能访问到 tomcat。

 修改本机 hosts 也能浏览器访问：

192.168.40.20 gateway.example.com

 五、原理

其实 nginx-gateway-controller 就是一个 nginx，它会监听 gateway 跟 httproute 的变化，重写 nginx.conf，重启 nginx。

# nginx-gateway-64fd456f8-5qh6k
# nginx-gateway-64fd456f8-n9h26
kubectl exec -it -n nginx-gateway nginx-gateway-64fd456f8-5qh6k -c nginx -- nginx -T

六、A/B 测试、金丝雀发布

看这一篇文章。