Kubernetes弹性伸缩简介

通过手工执行kubectl scale命令或者通过修改deployment的replicas数量，可以实现Pod扩缩容。我们还可以通过定时任务的方式在一些可预见的业务高峰场景实现Pod的定时伸缩。然而在更多的应用场景当中，业务的请求量峰值其实是不可控的。这就需要我们借助一些自动伸缩的手段，例如通过监控Pod的资源使用率、访问的QPS等指标来实现自动的弹性伸缩。

Kubernetes从两个维度上支持自动的弹性伸缩：

Cluster AutoScaler：处理kubernetes集群node节点的伸缩，其严重依赖IaaS厂商提供的云主机服务和资源监控服务
HPA(Horizontal Pod Autoscaler)：处理Pod副本集的自动弹性伸缩，其依赖监控服务采集到的资源监控指标数据

HPA简介

HPA本质上也是Kubernetes的一种资源对象。通过周期性检查Deployment控制的目标Pod 的相关监控指标的变化情况，来确定是否需要针对性地调整目标Pod的副本数。

通常应用的扩缩容都是由cpu或内存的使用率实现的。事实上在早期的kubernetes版本当中，hpa只支持基于cpu使用的率的扩缩容，而hpa获取到的cpu使用率指标则来源于kubernetes自带的监控系统heapster。

而从kubernetes 1.8版本开始，资源的使用指标改为通过metrics api获取。而heapster当前已经废弃。

kubernetes-hpa

Kubernetes将资源指标分为了两种：

core metrics（核心指标）：采集每个节点上的kubelet公开的summary api中的指标信息，通常只包含cpu、内存使用率信息
custom metrics（自定义指标）：允许用户从外部的监控系统当中采集自定义指标，如应用的qps等

在autoscaling/v1版本中只支持CPUUtilizationPercentage一种指标，在autoscaling/v2beta1中增加支持custom metrics,autoscaling/v2beta2支持自定义指标

下面以cpu使用率指标来说明hpa是如何来根据指标使用伸缩的：

CPUUtilizationPercentage即cpu使用率的百分比。hpa判断的标准是目标Pod所有副本自身的CPU利用率的平均值。一个Pod自身的CPU利用率是该Pod当前的CPU的使用量除以它的CPU Request的值。

比如定义一个Pod的CPU Request为0.4，而当前的Pod的CPU使用量为0.2，则它的CPU使用率为 50%，这样计算一个Deployment的所有Pod的cpu使用率的平均值。如果某一刻该值超过80%，则意味着当前的Pod 副本数很可能不足以支撑接来下更多的请求，需要进行动态扩容，而当前请求高峰时段过去后，Pod的 CPU 利用率又会降下来，此时对应的Pod副本数应该自动减少到一个合理的水平。

CPUUtilizationPercentage计算过程中使用到的Pod的CPU使用量通常是1min内的平均值。

Metrics Server

前面我们说到，核心指标的采集是通过metrics api获取，而Metrics Server实现了Resurce Metrics API。Metrics Server 是集群范围资源使用数据的聚合器。由Metrics Server从每个节点上的Kubelet公开的Summary API 中采集指标信息。也就是说，如果需要使用kubernetes的HPA功能，需要先安装Metrics Server。

1. 生成metrics-server证书

创建metrics-server-csr.json文件，内容如下：

{
  "CN": "aggregator",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "Hubei",
      "L": "Wuhan",
      "O": "k8s",
      "OU": "System"
    }
  ]
}

生成metrics-server证书和密钥

cfssl gencert --ca ca.pem --ca-key ca-key.pem --config ca-config.json --profile kubernetes metrics-server-csr.json | cfssljson --bare metrics-server

关于生成证书指令中，使用的ca.pem ca-key.pem以及ca-config.json,可参考《手动部署一个单节点kubernetes》

2. 修改kubernetes master 配置文件

在kube-apiserver的启动指令中添加如下参数：

kube-apiserver
  ...
  --requestheader-client-ca-file=/etc/kubernetes/ssl/ca.pem
  --requestheader-allowed-names=aggregator
  --requestheader-extra-headers-prefix=X-Remote-Extra-
  --requestheader-group-headers=X-Remote-Group
  --requestheader-username-headers=X-Remote-User
  --proxy-client-cert-file=/etc/kubernetes/ssl/metrics-server.pem
  --proxy-client-key-file=/etc/kubernetes/ssl/metrics-server-key.pem

在kube-controller-manager的启动指令中添加如下参数：

kube-controller-manager
  ...
  --horizontal-pod-autoscaler-use-rest-clients=true \
  --horizontal-pod-autoscaler-downscale-delay=5m0s \
  --horizontal-pod-autoscaler-upscale-delay=1m0s \
  --horizontal-pod-autoscaler-sync-period=20s \
  ...

配置项说明：

horizontal-pod-autoscaler-use-rest-clients：开启基于rest-clients的自动伸缩
horizontal-pod-autoscaler-sync-period：自动伸缩的检测周期为20s，默认为30s
horizontal-pod-autoscaler-upscale-delay：当检测到满足扩容条件时，延迟多久开始缩容，即该满足的条件持续多久开始扩容，默认为3分钟
horizontal-pod-autoscaler-downscale-delay：当检测到满足缩容条件时，延迟多久开始缩容，即该满足条件持续多久开始缩容，默认为5分钟

3. 安装metrics-server

metrics-server代码仓库地址： https://github.com/kubernetes-incubator/metrics-server

当前最新的release版本为v0.3.6，下载最新版本。然后执行如下操作：

cd deploy/1.8+/

sed -i '[email protected]/metrics-server-amd64:[email protected]/google_containers/metrics-server-amd64:v0.3.6@g' metrics-server-deployment.yaml

kubectl apply -f ./

以上操作会在kube-system命名空间启动一个名为metrics-server的pods以提供实时的数据采集。

HPA配置示例

下面是 HPA 定义的一个具体例子：

apiVersion: autoscaling/v2beta2
kind: HorizontalPodAutoscaler
metadata:
  name: php-apache
  namespace: default
spec:
  maxReplicas: 10
  minReplicas: 4
  scaleTargetRef:
    kind: Deployment
    name: nginx-demo
  targetCPUUtilizationPercentage: 90

上面定义了一个HPA对象，控制的目标对象为一个名叫nginx-demo的Deployment 里的Pod副本，当这些Pod副本的CPUUtilizationPercentage的值超过request限制的90%时会触发自动动态扩容行为，扩容或缩容时必须满足一个约束条件是Pod的副本数要介于4与10之间。

除了可以通过之间定义 YAML 文件并且调用 kubectl create 的命令来创建一个 HPA 资源对象的方式，还能通过下面的简单命令直接创建等价的 HPA 对象：

kubectl autoscale deployment php-apache --cpu-percent=90 --min=1 --max=10

kubernetes HPA