【k8s】阿里云ACK服务中GPU实例部署问题
文章目录
- 问题分析
- 解决方法
- 1. 修改安全组规则
- 2. 重新创建节点
- 3. 删除多余实例
问题分析
在ACK中部署GPU实例时发现，节点就绪后，pod kube-eventer-init-v1.8-e43647f-aliyun-1.2.25-bf6mz会报错：
日志显示：
panic: [SDK.TimeoutError] The request timed out 4 times(4 for retry), perhaps we should have the threshold raised a little? Connect timeout. Please set a valid ConnectTimeout.caused by:Post "http://cn-beijing-intranet.log.aliyuncs.com/open-api/?AccessKeyId=STS.NX6pBApZh7FFLnUL4vZp6B6Qt&Action=DescribeApp&AppName=k8s-event&Format=JSON&RegionId=cn-beijing&SecurityToken=CAISgQN1q6Ft5B2yfSjIr5uDO%2Fj1nYVJgIStTkjkqDQjVv8arfP6ljz2IHhMe3hpAuAes%2Fs%2FlG9Q6f0Tlul6QJwAQEXCZMR94tFc9R66f4fb%2Fse8suxY1ZH5SGTNARen15CKarmkRouGd6byO1maxiUvzf6jKmnzAQ3%2BacTU0UDTvnCJBFvWVyFPIfsLDCkAwZZoGBm8HPKpNQGQ8Qi0JUF0uw16pHpi4KCkuKO14Qbfi1uIoY185f6GQP6eYtJrIY10XvqsweVybdCh6iNL7AVQ%2F6oE584tuxW%2F54vMXQQIsk3YabSLr4MwfDUUPPZqR%2FR2y9HnjuB9t%2BDpkID69g1AJ%2Bk9UV6EHNj%2FkZKfSLv0aYZpKu6kYCXXrNmLN4jotQg%2FZHsdPQxHd94mJWV3DRE86YJ04Vg9HjsgCybUqMjtuMleufIdROX2d%2BA9eBPGhTnNZOqknluYu19pVnhYlCWqOcR9CEdXECgMHJW2Jt5QN3szx%2B6W%2B2ObOEJupqv0fQ%2BjD5u%2BGoABFfK
这是因为该pod所在的节点网络连通性异常，与阿里云日志服务（SLS）内网域名 cn-beijing-intranet.log.aliyuncs.com 的网络连接被阻断，需要去ECS服务进行安全组规则检查
解决方法
需修改实例安全组规则管理：入方向规则需包含TCP 80/443端口放行，授权对象为0.0.0.0/0或业务允许的IP段。
1. 修改安全组规则
安全组规则修改需要在ECS服务中修改，修改步骤如下：
2. 重新创建节点
修改完成后，节点不会自动更新，需要先移除已有节点，然后在节点池进行扩缩容操作，重新创建节点。
扩缩容操作后可能会有延迟，导致创建节点失败，节点数变成这样的话，多操作几次扩缩容就可以成功创建节点了。
3. 删除多余实例
创建节点后，返回ECS服务，可以看到实例列表会多出来一个，其中一个是上一个节点申请的实例（创建时间早的，页面最下面的水平导航条往右滑到头，能看到创建时间），需要手动删除，不然会持续扣费。
需要先关闭释放保护
之后回到节点池查看，发现不报错了