Kubernetes(k8s)学习笔记(七)--KubeSphere 最小化安装
前情提要
可视化操作面板对于开发、运维绝对是提升工作效率的一大利器，因此很有必要搭建一套可视化操作来管理Kubernetes。
可视化面板有多种：
1.Kubernetes官方提供的默认面板：dashboard，用处不大，放弃；
2.Kuboard 也很不错， 集群要求不高，可通过访问https://kuboard.cn/support/作进一步了解；3.Kubesphere 集成了很多套件， 集群要求较高，可通过访问https://kubesphere.io/作进一步了解。
本文主要围绕KubeSphere进行讲解。
简介
KubeSphere 是一款面向云原生设计的开源项目， 在目前主流容器调度平台 Kubernetes 之上构建的分布式多租户容器管理平台， 提供简单易用的操作界面以及向导式操作方式， 在降低用户使用容器调度平台学习成本的同时， 极大降低开发、 测试、 运维的日常工作的复杂度。
安装前置环境
主要是安装helm,tiller和openebs，这个在上一篇中已完成。
然后是最小化安装 kubesphere，本文要介绍的。
须确保集群可用的资源符合 CPU > 1 Core， 可用内存 > 2 G
下面具体的搭建的过程
搭建过程
1.创建一个kubesphere-mini.yaml文件
并写入下面的内容 ：
---
apiVersion: v1
kind: Namespace
metadata:name: kubesphere-system---
apiVersion: v1
data:ks-config.yaml: |---persistence:storageClass: ""etcd:monitoring: FalseendpointIps: 192.168.0.7,192.168.0.8,192.168.0.9port: 2379tlsEnable: Truecommon:mysqlVolumeSize: 20GiminioVolumeSize: 20GietcdVolumeSize: 20GiopenldapVolumeSize: 2GiredisVolumSize: 2Gimetrics_server:enabled: Falseconsole:enableMultiLogin: False # enable/disable multi loginport: 30880monitoring:prometheusReplicas: 1prometheusMemoryRequest: 400MiprometheusVolumeSize: 20Gigrafana:enabled: Falselogging:enabled: FalseelasticsearchMasterReplicas: 1elasticsearchDataReplicas: 1logsidecarReplicas: 2elasticsearchMasterVolumeSize: 4GielasticsearchDataVolumeSize: 20GilogMaxAge: 7elkPrefix: logstashcontainersLogMountedPath: ""kibana:enabled: Falseopenpitrix:enabled: Falsedevops:enabled: FalsejenkinsMemoryLim: 2GijenkinsMemoryReq: 1500MijenkinsVolumeSize: 8GijenkinsJavaOpts_Xms: 512mjenkinsJavaOpts_Xmx: 512mjenkinsJavaOpts_MaxRAM: 2gsonarqube:enabled: FalsepostgresqlVolumeSize: 8Giservicemesh:enabled: Falsenotification:enabled: Falsealerting:enabled: False
kind: ConfigMap
metadata:name: ks-installernamespace: kubesphere-system---
apiVersion: v1
kind: ServiceAccount
metadata:name: ks-installernamespace: kubesphere-system---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:creationTimestamp: nullname: ks-installer
rules:
- apiGroups:- ""resources:- '*'verbs:- '*'
- apiGroups:- appsresources:- '*'verbs:- '*'
- apiGroups:- extensionsresources:- '*'verbs:- '*'
- apiGroups:- batchresources:- '*'verbs:- '*'
- apiGroups:- rbac.authorization.k8s.ioresources:- '*'verbs:- '*'
- apiGroups:- apiregistration.k8s.ioresources:- '*'verbs:- '*'
- apiGroups:- apiextensions.k8s.ioresources:- '*'verbs:- '*'
- apiGroups:- tenant.kubesphere.ioresources:- '*'verbs:- '*'
- apiGroups:- certificates.k8s.ioresources:- '*'verbs:- '*'
- apiGroups:- devops.kubesphere.ioresources:- '*'verbs:- '*'
- apiGroups:- monitoring.coreos.comresources:- '*'verbs:- '*'
- apiGroups:- logging.kubesphere.ioresources:- '*'verbs:- '*'
- apiGroups:- jaegertracing.ioresources:- '*'verbs:- '*'
- apiGroups:- storage.k8s.ioresources:- '*'verbs:- '*'
- apiGroups:- admissionregistration.k8s.ioresources:- '*'verbs:- '*'---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:name: ks-installer
subjects:
- kind: ServiceAccountname: ks-installernamespace: kubesphere-system
roleRef:kind: ClusterRolename: ks-installerapiGroup: rbac.authorization.k8s.io---
apiVersion: apps/v1
kind: Deployment
metadata:name: ks-installernamespace: kubesphere-systemlabels:app: ks-install
spec:replicas: 1selector:matchLabels:app: ks-installtemplate:metadata:labels:app: ks-installspec:serviceAccountName: ks-installercontainers:- name: installerimage: kubesphere/ks-installer:v2.1.1imagePullPolicy: "Always"2.执行apply命令
#KubeSphere 最小化安装：
kubectl apply -f kubesphere-mini.yaml3.检查kubesphere pod启动运行情况
执行下面的命令，观察kubesphere相关pods启动情况，确保所有的都处于Running状态
kubectl get pods --all-namespaces
如果哪个pod失败，使用下面的命令找出失败的原因
# pod替换为失败的pod名，n后面的参数换成对应的命名空间
kubectl describe pod default-http-backend-5d464dd566-wtr98 -n kubesphere-controls-system如果失败的原因是ImagePullBackOff，可以使用这个命令，找到需要的镜像
# pod和n 后面的参数替换为失败的pod名和对应的命名空间
kubectl describe pod node-exporter-kjs4p -n kubesphere-monitoring-system | grep -A5 "Containers"像上图中出现一个pod：default-http-backend镜像拉取失败，最后试了这个才拉取到本地
registry.cn-beijing.aliyuncs.com/kubesphereio/defaultbackend-amd64:1.4
拉取到以后需要打标签，伪装成mirrorgooglecontainers/defaultbackend-amd64:1.4
拉取和打标签通过下面的命令来实现：
# 拉镜像
docker pull registry.cn-beijing.aliyuncs.com/kubesphereio/defaultbackend-amd64:1.4
# 打标签
docker tag registry.cn-beijing.aliyuncs.com/kubesphereio/defaultbackend-amd64:1.4 mirrorgooglecontainers/defaultbackend-amd64:1.4
然后删除失败的pod进行重建，注意替换pod后面的参数自己的Pod名，n后面的参数为自己的命名空间
kubectl delete pod default-http-backend-5d464dd566-z2bt2 -n kubesphere-controls-system
删除后重建如果还是失败上面提到的命令再次查看原因，注意查看输出的原因分析的Event部分
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Normal Scheduled <unknown> default-scheduler Successfully assigned kubesphere-controls-system/default-http-backend-5d464dd566-9dqlz to k8s-node2
Warning Failed 74s (x2 over 3m38s) kubelet, k8s-node2 Failed to pull image "mirrorgooglecontainers/defaultbackend-amd64:1.4": rpc error: code = Unknown desc = Error response from daemon: Get https://registry-1.docker.io/v2/: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers)
Warning Failed 74s (x2 over 3m38s) kubelet, k8s-node2 Error: ErrImagePull
Normal BackOff 59s (x2 over 3m37s) kubelet, k8s-node2 Back-off pulling image "mirrorgooglecontainers/defaultbackend-amd64:1.4"
Warning Failed 59s (x2 over 3m37s) kubelet, k8s-node2 Error: ImagePullBackOff
Normal Pulling 47s (x3 over 6m4s) kubelet, k8s-node2 Pulling image "mirrorgooglecontainers/defaultbackend-amd64:1.4"
从上面输出可以看出
Pod 被调度到了 node2，但 node2 去拉镜像时失败了（因为网络问题，连不上 Docker Hub）。
问题本质
只在 k8s-node1 上
docker pull和docker tag了镜像，
但是 k8s-node2 也要这个镜像，它自己本地没有，所以还会去拉。
Kubernetes 不会自动把 node1 的镜像复制给 node2
因此需要在k8s-node2上执行下面的命令
# 拉镜像
docker pull registry.cn-beijing.aliyuncs.com/kubesphereio/defaultbackend-amd64:1.4
# 打标签
docker tag registry.cn-beijing.aliyuncs.com/kubesphereio/defaultbackend-amd64:1.4 mirrorgooglecontainers/defaultbackend-amd64:1.4
验证本地是否有相关镜像
docker images | grep defaultbackend
输出下图的提示才正常
[root@k8s-node2 ~]# docker images | grep defaultbackend
mirrorgooglecontainers/defaultbackend-amd64 1.4 846921f0fe0e 7 years ago 4.84MB
registry.cn-beijing.aliyuncs.com/kubesphereio/defaultbackend-amd64 1.4 846921f0fe0e 7 years ago 4.84MB
如果本地有镜像但还是ImagePullBackOff,需要使用下面的命令指定imagePullPolicy: IfNotPresent
kubectl -n kubesphere-controls-system patch deployment default-http-backend -p '{"spec":{"template":{"spec":{"containers":[{"name":"default-http-backend","imagePullPolicy":"IfNotPresent"}]}}}}'
经过上面的处理，再次查看kubesphere所有pod的状态，全部变为Running状态了
还可以使用下面的命令查看安装日志，整个过程所需时间跟网络紧密相关， 请耐心等待安装成功：
kubectl logs -n kubesphere-system $(kubectl get pod -n kubesphere-system -l app=ks-install -o jsonpath='{.items[0].metadata.name}') -f当所有kubesphere pod都处于Running状态时，就可以使用浏览器访问kubesphere了，kubeSphere v2.x默认的账号为admin，密码为P@88w0rd，因此使用这个它们即可登录
