kubernetes的pod或instance一直处于pending状态的解决方案

问题复现:

    6台虚拟机上,kong组件(一个用于部署api服务的组件)副本数为4,总有一两个instance起不起来,一直处于pending状态,如下:



解决思路:

    整体解决思路:pod -> instance -> DeamonSet -> ConfigMap

    1、哪里有问题就进去干,话不多说,直接describe一下处于pending状态的instance。

kubectl -n gateway get instance
kubectl -n gateway describe instance {$yourPendingInstance}

 

    2、这里看不出有啥毛病,我们以yaml格式输出,看下处于pending状态的instance。

kubectl -n gateway get instance kong-1.0-002e05-kong -o yaml

    3、看到有个Kong有DeamonSet状态不对,check下DeamonSet

# 获取gateway namespace下的所有DeamonSet
kubectl -n gateway get ds
kubectl -n gateway get ds kong-clclm -o yaml

  

    可以看到当前还有两个kong组件副本不可用,而每个replic需要1个cpu和4G内存,由此想到可能因为资源不够,导致调度失败。

4、检查ratio配置信息

(这个ration是个ConfigMap主要用来配置一些参数信息的)

# 查看
kubectl -n kube-system get cm ratio -o yaml
# 编辑
kubectl -n kube-system edit cm ratio -o yaml

    可以看到当前只配置了1个CPU和1G内存,在kong的replic为3的时候CPU显然是不够用的,找到原因了。。。


原因及解决办法:

    没有超额配置,另外的几台节点资源不够了,kong多副本资源不够,调度不到nodeSelector节点上,所以没调度成功,故一直处于pending状态。

    解决办法:设置为cpu:4,memory:10。即实际节点可申请分配的cpu资源是4倍,内存资源是10倍。因为很多pod在申请资源的时候都是超额申请,他实际上并用不了这么多。意思就是其他副本你尽管申请,我这资源够。如下:


    配置成功后,你就会发现DeamonSet已全部ready,组件的instance已从Pending转为Running状态。



猜你喜欢

转载自blog.csdn.net/whdxjbw/article/details/80761157