问题复现:
6台虚拟机上,kong组件(一个用于部署api服务的组件)副本数为4,总有一两个instance起不起来,一直处于pending状态,如下:
解决思路:
整体解决思路:pod -> instance -> DeamonSet -> ConfigMap
1、哪里有问题就进去干,话不多说,直接describe一下处于pending状态的instance。
kubectl -n gateway get instance
kubectl -n gateway describe instance {$yourPendingInstance}
2、这里看不出有啥毛病,我们以yaml格式输出,看下处于pending状态的instance。
kubectl -n gateway get instance kong-1.0-002e05-kong -o yaml
3、看到有个Kong有DeamonSet状态不对,check下DeamonSet
# 获取gateway namespace下的所有DeamonSet
kubectl -n gateway get ds
kubectl -n gateway get ds kong-clclm -o yaml
可以看到当前还有两个kong组件副本不可用,而每个replic需要1个cpu和4G内存,由此想到可能因为资源不够,导致调度失败。
4、检查ratio配置信息
(这个ration是个ConfigMap主要用来配置一些参数信息的)
# 查看
kubectl -n kube-system get cm ratio -o yaml
# 编辑
kubectl -n kube-system edit cm ratio -o yaml
可以看到当前只配置了1个CPU和1G内存,在kong的replic为3的时候CPU显然是不够用的,找到原因了。。。
原因及解决办法:
没有超额配置,另外的几台节点资源不够了,kong多副本资源不够,调度不到nodeSelector节点上,所以没调度成功,故一直处于pending状态。
解决办法:设置为cpu:4,memory:10。即实际节点可申请分配的cpu资源是4倍,内存资源是10倍。因为很多pod在申请资源的时候都是超额申请,他实际上并用不了这么多。意思就是其他副本你尽管申请,我这资源够。如下:
配置成功后,你就会发现DeamonSet已全部ready,组件的instance已从Pending转为Running状态。