k8s lngress与安全机制

k8s Ingress与安全机制整理

一、Ingress 服务概述

1. 核心作用

• Service的补充：Service解决集群内部Pod的服务发现与负载均衡，但对外暴露服务需额外方案。
• 对外暴露方式对比：
  • NodePort：暴露节点端口（30000-32767），适合测试，端口管理困难。
  • LoadBalancer：依赖云厂商，自动创建LB，有额外费用，适合公有云。
  • externalIPs：为Service分配外部IP，需路由到集群节点。
  • Ingress：七层反向代理，通过少量公网IP/LB暴露多个HTTP/HTTPS服务，基于域名/URL路径转发（可理解为“Service的Service”）。

二、Ingress 组成

1. Ingress（规则定义）

• 以YAML配置的API对象，定义请求转发规则（外部URL、负载均衡、SSL/TLS、域名代理等）。
• 功能需依赖Ingress Controller实现。

2. Ingress Controller（转发器）

• 解析Ingress规则，实现反向代理与负载均衡，非K8s自带组件。
• 常见实现：官方（GCE、ingress-nginx）、第三方。
• 典型形态：Pod内运行“守护进程（监控集群生成配置）+ 反向代理（如Nginx）”，例如ingress-nginx动态生成Nginx配置并reload。

三、Ingress 工作原理

1. Ingress Controller与APIServer交互，动态感知Ingress规则变化。
2. 按规则生成Nginx配置，写入ingress-controller Pod的/etc/nginx.conf。
3. 执行reload使配置生效，实现域名/路径分流与动态更新。

四、ingress-nginx-controller 部署

1. 准备清单

mkdir -p /opt/ingress && cd /opt/ingress
# 官方/国内镜像获取部署清单
wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/nginx-0.25.0/deploy/static/mandatory.yaml
# 或国内镜像：wget https://gitee.com/mirrors/ingress-nginx/raw/nginx-0.25.0/deploy/static/mandatory.yaml

2. 修改ClusterRole配置

在mandatory.yaml中为networking.k8s.io添加Ingress资源权限（0.25版本及以上）：

apiGroups:- "extensions"- "networking.k8s.io"  # 新增，支持networking.k8s.io API组
resources:- ingresses
verbs:- get- list- watch

五、Ingress 暴露服务的三种方式

方式一：Deployment + Service(type=LoadBalancer)

• 适用场景：公有云。
• 原理：通过Deployment部署Controller，创建LoadBalancer类型Service，云厂商自动生成LB并绑定公网IP，域名解析指向该IP即可暴露服务。

方式二：DaemonSet + HostNetwork + nodeSelector

• 适用场景：大并发生产环境（性能最优）。
• 特点：特定节点部署Controller，使用宿主机网络（直接占用80/443端口），链路最短，一个节点仅运行一个Controller Pod。

实施步骤：

1. 给节点打标签（如仅在node02运行）：

   kubectl label node node02 ingress=true
   

2. 修改mandatory.yaml：
   • 把kind: Deployment改为kind: DaemonSet，删除replicas。
   • 启用宿主机网络并指定节点：

     spec:hostNetwork: truenodeSelector:ingress: "true"
     

3. 加载镜像并启动，验证端口（80/443/8181/10254）：

   docker load -i ingree.contro.tar
   kubectl apply -f mandatory.yaml
   netstat -lntp | grep nginx  # 检查监听端口
   

4. 创建Ingress规则（示例）：

   # networking.k8s.io/v1版本
   apiVersion: networking.k8s.io/v1
   kind: Ingress
   metadata:name: nginx-app-ingress
   spec:rules:- host: www.benet.comhttp:paths:- path: /pathType: Prefix  # 前缀匹配（或Exact完全匹配）backend:service:name: nginx-app-svcport:number: 80
   

方式三：Deployment + Service(type=NodePort)

• 适用场景：无LB环境，需前置负载均衡。
• 特点：通过NodePort暴露Controller，端口随机，多一层NAT，大流量可能影响性能。

实施步骤：

1. 获取清单并部署：

   mkdir -p /opt/ingress-nodeport && cd /opt/ingress-nodeport
   # 下载mandatory.yaml和service-nodeport.yaml（NodePort服务配置）
   wget https://gitee.com/mirrors/ingress-nginx/raw/nginx-0.30.0/deploy/static/mandatory.yaml
   wget https://gitee.com/mirrors/ingress-nginx/raw/nginx-0.30.0/deploy/static/provider/baremetal/service-nodeport.yaml
   docker load -i ingress-controller-0.30.0.tar
   kubectl apply -f mandatory.yaml -f service-nodeport.yaml
   

2. 测试访问：通过NodePort端口（如32383）访问，需配置hosts解析。

六、典型功能示例

1. 虚拟主机代理

通过不同域名转发到不同Service：

# 示例：www1.benet.com → svc-1；www2.benet.com → svc-2
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:name: ingress1
spec:rules:- host: www1.benet.comhttp:paths:- path: /pathType: Prefixbackend:service:name: svc-1port: {number: 80}
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:name: ingress2
spec:rules:- host: www2.benet.comhttp:paths:- path: /pathType: Prefixbackend:service:name: svc-2port: {number: 80}

2. HTTPS 代理

• 生成自签证书并创建secret：

  openssl req -x509 -sha256 -nodes -days 365 -newkey rsa:2048 -keyout tls.key -out tls.crt -subj "/CN=nginxsvc/O=nginxsvc"
  kubectl create secret tls tls-secret --key tls.key --cert tls.crt
  

• Ingress配置：

  apiVersion: networking.k8s.io/v1
  kind: Ingress
  metadata:name: nginx-https
  spec:tls:  # 关联证书secret- hosts: [www3.benet.com]secretName: tls-secretrules:- host: www3.benet.comhttp:paths:- path: /pathType: Prefixbackend:service: {name: nginx-svc, port: {number: 80}}
  

3. BasicAuth 认证

• 生成认证文件并创建secret：

  yum install -y httpd
  htpasswd -c auth zhangsan  # 生成auth文件
  kubectl create secret generic basic-auth --from-file=auth
  

• Ingress配置（添加认证注解）：

  apiVersion: networking.k8s.io/v1
  kind: Ingress
  metadata:name: ingress-authannotations:nginx.ingress.kubernetes.io/auth-type: basicnginx.ingress.kubernetes.io/auth-secret: basic-authnginx.ingress.kubernetes.io/auth-realm: 'Authentication Required'
  spec:rules:- host: auth.benet.comhttp:paths:- path: /pathType: Prefixbackend: {service: {name: nginx-svc, port: {number: 80}}}
  

4. 路径重写

通过注解配置重定向目标：

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:name: nginx-rewriteannotations:nginx.ingress.kubernetes.io/rewrite-target: http://www1.benet.com:32383  # 重定向目标
spec:rules:- host: re.benet.comhttp:paths:- path: /pathType: Prefixbackend: {service: {name: nginx-svc, port: {number: 80}}}

七、排错与检查

1. 查看Controller状态：

   kubectl get pod -n ingress-nginx -o wide
   kubectl get cm,daemonset -n ingress-nginx -o wide
   

2. 检查Nginx配置：

   kubectl exec -it <controller-pod> -n ingress-nginx -- /bin/bash
   more /etc/nginx/nginx.conf  # 查看生成的配置
   

3. 调度失败处理：若因nodeSelector不匹配，可给节点加对应标签或删除nodeSelector。

八、总结

• 核心：Ingress = Ingress资源对象（规则） + Ingress Controller（转发实现）。
• 选型建议：
  • 公有云：优先用Deployment + LoadBalancer。
  • 生产环境（大并发）：DaemonSet + HostNetwork（高性能）。
  • 无LB环境：Deployment + NodePort（需前置负载均衡）。
• 生产加固：多节点部署、前置LB/高可用（LVS+keepalived）、监控（Prometheus采集10254端口）、TLS/认证/WAF防护。