当前位置：首页 > news >正文

生产环境中Kubernetes Pod 安全上下文与策略的实战经验分享

news 2025/8/13 14:47:14

生产环境中Kubernetes Pod 安全上下文与策略的实战经验分享

业务场景描述

在某金融级别的微服务平台中，我们需要对 Kubernetes 中的容器进行严格的安全管控。业务团队要求：

Pod 不允许以 root 身份运行；
禁止使用可危险的 Linux 能力（capabilities）；
强制只读根文件系统；
使用默认或自定义的 Seccomp/Profile 进行系统调用过滤；
阻止挂载敏感的 HostPath；
分环境（Dev/Test/Prod）采用分级策略。

运维安全团队决定在生产环境中落地一套可自动化、可审计，并且与 CI/CD 流水线集成的安全策略管控方案。

技术选型过程

可选方案主要有：

PodSecurityPolicy（PSP）
Kubernetes Pod Security Admission（PSA）
OPA Gatekeeper + ConstraintTemplate

对比分析：

PSP：已被弃用，并在 v1.25+ 中移除，不推荐新集群使用；
PSA：Kubernetes 社区原生方案，轻量，基于 Namespace 标签简单控制；
Gatekeeper：功能最强大，可灵活编写 Rego 规则，但学习曲线与运维成本较高。

最终，我们在 v1.22~v1.24 版本中使用 PSA 机制，并在未来集群升级中逐步迁移到 Gatekeeper。

实现方案详解

1. 启用 Pod Security Admission 插件

在 kube-apiserver 启动参数中增加：

--enable-admission-plugins=PodSecurity

2. 为 Namespace 打标签以应用策略

baseline：测试环境的基本安全要求；
restricted：生产环境的严格安全要求；

示例：

kubectl label namespace prod pod-security.kubernetes.io/enforce=restricted
kubectl label namespace prod pod-security.kubernetes.io/audit=restricted
kubectl label namespace prod pod-security.kubernetes.io/warn=baseline

3. 定义 SecurityContext 模板

以下示例用于 Deployment，强制容器以非 root、只读根文件系统、最小能力集运行，并使用默认 Seccomp 配置：

apiVersion: apps/v1
kind: Deployment
metadata:name: secure-appnamespace: prod
spec:replicas: 3selector:matchLabels:app: secure-apptemplate:metadata:labels:app: secure-appspec:securityContext:runAsNonRoot: true          # 禁止rootrunAsUser: 1000             # 指定非root UIDfsGroup: 2000               # 文件系统组IDcontainers:- name: app-containerimage: your-repo/app:latestimagePullPolicy: IfNotPresentsecurityContext:readOnlyRootFilesystem: true # 只读根文件系统capabilities:drop:- ALL                     # 丢弃所有能力allowPrivilegeEscalation: false # 禁止提权seccompProfile:type: RuntimeDefault      # 默认 Seccompports:- containerPort: 8080

4. 阻止敏感 HostPath 挂载

通过 PSA 无法直接控制 HostPath，需配合 OPA Gatekeeper 或准入控制器。生产中我们对关键目录实施白名单方案：

apiVersion: constraints.gatekeeper.sh/v1beta1
kind: K8sAllowedHostPath
metadata:name: allowed-hostpath
spec:match:kinds:- apiGroups: ["*"]kinds: ["Pod"]parameters:allowedPaths:- "/data/*"- "/var/log/app/*"

5. 与 CI/CD 流水线集成

在 Jenkinsfile / GitLab CI 中加入 kubectl apply --dry-run=client、--dry-run=server 校验步骤，确保每次发布前策略合规。

stage('Security Validation') {steps {sh 'kubectl apply -f k8s/deployment.yaml --dry-run=server'}
}

踩过的坑与解决方案

问题：v1.25 集群移除 PSP 时，旧命名空间标签失效，Pod 报 Forbidden。解决：提前在测试集群开启 PSA，使用 kubectl get ns --show-labels 批量打标签；并通过 kubectl patch ns 自动化脚本完成。
问题：忘记设置 allowPrivilegeEscalation: false，导致容器可提权。解决：在 CI 校验脚本中强制验证 securityContext.allowPrivilegeEscalation 字段。
问题：SeccompProfile 类型不一致（RuntimeDefault vs Localhost）。解决：统一到 type: RuntimeDefault，避免集群中断更新口径不一。
问题：Gatekeeper 对现有 Pod 进行了短暂的拒绝，影响业务。解决：采用 enforce: dry-run 模式 1~2 周，先收集 audit 日志，再逐步切换 enforce。