Облачная платформа контейнеров №2 ~ kubeadm создает высокодоступный кластер v1.19.1

развивать 2020-09-19 06:05:56 Время чтения: null

Вторая часть построения контейнерной облачной платформы с помощью kubernetes, недавно официально выпущенная V1.19.0. В этой статье используется последняя версия, чтобы представить установку высокодоступного кластера Kubernetes с помощью kubeadm.
На рынке существует множество инструментов для установки k8s, но для обучения рекомендуется устанавливать их шаг за шагом, чтобы понять компоненты, работающие внутри всего кластера, чтобы дальнейшее обучение и устранение неполадок было более удобным. . .

Среда этой статьи выглядит следующим образом:
Сервер: 3
операционных системы:
диаграмма топологии CentOS 7 не нарисована, напрямую скопируйте официальный сайт
Облачная платформа контейнеров №2 ~ kubeadm создает высокодоступный кластер v1.19.1

### Обзор
Вкратце на этом рисунке три сервера используются в качестве главных узлов, а keepalive + haproxy используется для балансировки нагрузки apiserver.Связь между узлом node и apiserver осуществляется через VIP. Как упоминалось в первой статье, вся информация о кластере хранится в кластере ETCD.
Далее, вперед. . .

###
Источник конфигурации Здесь сконфигурированы три источника, все они заменены на внутренние зеркальные источники для ускорения установки пакета.

# 系统源
curl -O http://mirrors.aliyun.com/repo/Centos-7.repo

# docker源
curl -O https://mirrors.ustc.edu.cn/docker-ce/linux/centos/docker-ce.repo
sed -i 's/download.docker.com/mirrors.ustc.edu.cn\/docker-ce/g' docker-ce.repo

# kubernetes源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

### Настройка параметров, связанных с
системой После того, как система настроила источник, необходимо установить некоторые параметры, которые являются официальными рекомендациями. Дополнительная оптимизация будет представлена ​​позже.

# 临时禁用selinux
# 永久关闭 修改/etc/sysconfig/selinux文件设置
sed -i 's/SELINUX=permissive/SELINUX=disabled/' /etc/sysconfig/selinux
setenforce 0

# 临时关闭swap
# 永久关闭 注释/etc/fstab文件里swap相关的行
swapoff -a

# 开启forward
# Docker从1.13版本开始调整了默认的防火墙规则
# 禁用了iptables filter表中FOWARD链
# 这样会引起Kubernetes集群中跨Node的Pod无法通信
iptables -P FORWARD ACCEPT

# 配置转发相关参数，否则可能会出错
cat <<EOF >  /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
vm.swappiness=0
EOF
sysctl --system

# 加载ipvs相关内核模块
# 如果重新开机，需要重新加载
modprobe ip_vs
modprobe ip_vs_rr
modprobe ip_vs_wrr
modprobe ip_vs_sh
modprobe nf_conntrack_ipv4
lsmod | grep ip_vs

### Установите kubeadm и сопутствующее программное обеспечение

yum  install -y kubelet kubeadm kubectl ipvsadm

### Настройте
основную конфигурацию докера, чтобы ускорить загрузку общедоступных образов и разрешить загрузку изображений из незащищенных частных складов. Вам
hub.xxx.omнеобходимо изменить его на свой собственный адрес частного склада. Если нет, удалите insecure-registriesэту строку
vim /etc/docker/daemon.json

{
  "registry-mirrors": ["https://ci7pm4nx.mirror.aliyuncs.com","https://registry.docker-cn.com","http://hub-mirror.c.163.com"],
  "insecure-registries":["hub.xxx.om"]
}

Напишите конфигурацию, перезапустите докер

systemctl  restart docker
systemctl  enable docker.service

Посмотрите docker info, вывод выглядит следующим образом

 Insecure Registries:
  hub.xxx.com
  127.0.0.0/8
 Registry Mirrors:
  https://ci7pm4nx.mirror.aliyuncs.com/
  https://registry.docker-cn.com/
  http://hub-mirror.c.163.com/

### Запустить кубелет

systemctl enable --now kubelet

kubelet теперь перезапускается каждые несколько секунд, потому что он застрял в бесконечном цикле в ожидании команд kubeadm.

## Установить и настроить haproxy и keepalive (все три машины должны быть установлены и настроены)
установочный пакетyum install -y haproxy keepalived

Настроить haproxy

Нужно обратить внимание, вручную создайте файл /var/log/haproxy.log

[root@k8s-master001 ~]# cat /etc/haproxy/haproxy.cfg 
# /etc/haproxy/haproxy.cfg
#---------------------------------------------------------------------
# Global settings
#---------------------------------------------------------------------
global
    log /var/log/haproxy.log local0
    daemon

#---------------------------------------------------------------------
# common defaults that all the 'listen' and 'backend' sections will
# use if not designated in their block
#---------------------------------------------------------------------
defaults
    mode                    http
    log                     global
    retries                 1
    timeout http-request    10s
    timeout queue           20s
    timeout connect         5s
    timeout client          20s
    timeout server          20s
    timeout http-keep-alive 10s
    timeout check           10s

listen admin_stats
    mode                    http
    bind                    0.0.0.0:1080
    log                     127.0.0.1 local0 err
    stats refresh           30s
    stats uri               /haproxy-status
    stats realm             Haproxy\ Statistics
    stats auth              admin:admin
    stats hide-version
    stats admin if TRUE
#---------------------------------------------------------------------
# apiserver frontend which proxys to the masters
#---------------------------------------------------------------------
frontend apiserver
    bind *:8443
    mode tcp
    option tcplog
    default_backend apiserver

#---------------------------------------------------------------------
# round robin balancing for apiserver
#---------------------------------------------------------------------
backend apiserver
    option httpchk GET /healthz
    http-check expect status 200
    mode tcp
    option ssl-hello-chk
    balance     roundrobin
    server k8s-master001  10.26.25.20:6443 weight 1 maxconn 1000 check inter 2000 rise 2 fall 3
    server k8s-master002  10.26.25.21:6443 weight 1 maxconn 1000 check inter 2000 rise 2 fall 3
    server k8s-master003  10.26.25.22:6443 weight 1 maxconn 1000 check inter 2000 rise 2 fall 3

#### 启动 haproxy
systemctl start haproxy
systemctl включить haproxy

### Настроить поддержку активности

[root@k8s-master001 ~]# cat /etc/keepalived/keepalived.conf 
! /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
    router_id LVS_K8S
}
vrrp_script check_apiserver {
  script "/etc/keepalived/check_apiserver.sh"
  interval 3
  weight -2
  fall 10
  rise 2
}

vrrp_instance VI_1 {
    state MASTER
    interface ens18
    virtual_router_id 51
    priority 100
    authentication {
        auth_type PASS
        auth_pass kubernetes
    }
    virtual_ipaddress {
        10.26.25.23
    }
    track_script {
        check_apiserver
    }
}

Добавить скрипт проверки активности

[root@k8s-master001 ~]# cat /etc/keepalived/check_apiserver.sh 
#!/bin/sh

errorExit() {
    echo "*** $*" 1>&2
    exit 1
}

curl --silent --max-time 2 --insecure https://localhost:8443/ -o /dev/null || errorExit "Error GET https://localhost:8443/"
if ip addr | grep -q 10.26.25.23; then
    curl --silent --max-time 2 --insecure https://10.26.25.23:8443/ -o /dev/null || errorExit "Error GET https://10.26.25.23:8443/"
fi

chmod +x  /etc/keepalived/check_apiserver.sh

#### Начать поддержку активности

systemctl  start  keepalived
systemctl  enable keepalived

Теперь вы можете IP:1080/aproxy-statusполучить доступ к интерфейсу управления haproxy , посетив мастер . Имя пользователя и пароль находятся в файле конфигурации. Это статья admin / admin, вы можете изменить ее сами.
Вначале все линии apiserver красные, что означает, что служба еще не запущена. Моя фотография здесь пост-вырезана, поэтому она зеленая.
Облачная платформа контейнеров №2 ~ kubeadm создает высокодоступный кластер v1.19.1

Затем начните инициализировать кластер кубернетов
### Инициализировать первый узел управления master001

[root@k8s-master001 ~]# kubeadm init --control-plane-endpoint 10.26.25.23:8443 --upload-certs --image-repository registry.aliyuncs.com/google_containers  --pod-network-cidr 10.244.0.0/16 
W0910 05:09:41.166260   29186 configset.go:348] WARNING: kubeadm cannot validate component configs for API groups [kubelet.config.k8s.io kubeproxy.config.k8s.io]
[init] Using Kubernetes version: v1.19.1
[preflight] Running pre-flight checks
        [WARNING IsDockerSystemdCheck]: detected "cgroupfs" as the Docker cgroup driver. The recommended driver is "systemd". Please follow the guide at https://kubernetes.io/docs/setup/cri/
[preflight] Pulling images required for setting up a Kubernetes cluster
[preflight] This might take a minute or two, depending on the speed of your internet connection
[preflight] You can also perform this action in beforehand using 'kubeadm config images pull'
[certs] Using certificateDir folder "/etc/kubernetes/pki"
........忽略了部分信息
[kubelet-start] Writing kubelet environment file with flags to file "/var/lib/kubelet/kubeadm-flags.env"
[kubelet-start] Writing kubelet configuration to file "/var/lib/kubelet/config.yaml"
[kubelet-start] Starting the kubelet
[control-plane] Using manifest folder "/etc/kubernetes/manifests"
[control-plane] Creating static Pod manifest for "kube-apiserver"
[control-plane] Creating static Pod manifest for "kube-controller-manager"
[control-plane] Creating static Pod manifest for "kube-scheduler"
[etcd] Creating static Pod manifest for local etcd in "/etc/kubernetes/manifests"
............忽略了部分信息
[addons] Applied essential addon: CoreDNS
[endpoint] WARNING: port specified in controlPlaneEndpoint overrides bindPort in the controlplane address
[addons] Applied essential addon: kube-proxy
Your Kubernetes control-plane has initialized successfully!
To start using your cluster, you need to run the following as a regular user:
  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/
You can now join any number of the control-plane node running the following command on each as root:
  kubeadm join 10.26.25.23:8443 --token f28iti.c5fgj45u28332ga7 \
    --discovery-token-ca-cert-hash sha256:81ec8f1d1db0bb8a31d64ae31091726a92b9294bcfa0e2b4309b9d8c5245db41 \
    --control-plane --certificate-key 93f9514164e2ecbd85293a9c671344e06a1aa811faf1069db6f678a1a5e6f38b
Please note that the certificate-key gives access to cluster sensitive data, keep it secret!
As a safeguard, uploaded-certs will be deleted in two hours; If necessary, you can use
"kubeadm init phase upload-certs --upload-certs" to reload certs afterward.
Then you can join any number of worker nodes by running the following on each as root:
kubeadm join 10.26.25.23:8443 --token f28iti.c5fgj45u28332ga7 \
    --discovery-token-ca-cert-hash sha256:81ec8f1d1db0bb8a31d64ae31091726a92b9294bcfa0e2b4309b9d8c5245db41

См. Вывод, как указано выше, что означает, что инициализация прошла успешно, и
описание команды инициализации:
kubeadm init --control-plane-endpoint 10.26.25.23:8443 --upload-certs --image-repository registry.aliyuncs.com/google_containers --pod-network-cidr 10.244.0.0/16

  • --control-plane-endpoint 10.26.25.23:8443, где 10.26.25.23 - это VIP, настроенный с помощью keepalived
  • --image-repository registry.aliyuncs.com/google_containers изменил адрес зеркала загрузки по умолчанию, значение по умолчанию - k8s.gcr.io, его нельзя загрузить в Китае, или вы можете взобраться на стену самостоятельно ~~~
  • --pod-network-cidr 10.244.0.0/16 определяет сетевой сегмент модуля, который должен быть таким же, как сегмент сети, определяемый фланелью, в противном случае модуль фланели может быть перезапущен все время при установке фланели, о чем будет сказано позже при установке фланели.

Введение в процесс инициализации:

  • Скачайте нужный образ
  • Создать сертификат
  • Создайте файл конфигурации yaml для службы
  • Запустить статический модуль

После завершения инициализации вы можете настроить клиент kubectl и использовать кубернеты в соответствии с подсказками, хотя главный узел только один.

Начните использовать кластер

[root@k8s-master001 ~]#  mkdir -p $HOME/.kube
[root@k8s-master001 ~]#   sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@k8s-master001 ~]#   sudo chown $(id -u):$(id -g) $HOME/.kube/config
[root@k8s-master001 ~]#   kubectl  get no
NAME            STATUS     ROLES    AGE    VERSION
k8s-master001   NotReady   master   105s   v1.19.0

Теперь вы можете видеть, что в кластере только один узел и статус NotReady. Это связано с тем, что сетевой плагин не был установлен.
Затем установите сетевой плагин Flannel.

### Установка Flannel
Загрузите и установите необходимые файлы yalm: wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/k8s-manifests/kube-flannel.yml
поскольку сейчас установлена ​​последняя версия kubernetes rbac的api版本需要修改为rbac.authorization.k8s.io/v1，DaemonSet的api版本改为 apps/v1и добавлен селектор, здесь публикуется только часть конфигурации.

    [root@k8s-master001 ~]# cat kube-flannel.yml 
    ---
    apiVersion: apps/v1
    kind: DaemonSet
    metadata:
      name: kube-flannel-ds
      namespace: kube-system
      labels:
        tier: node
        app: flannel
    spec:
       selector:
        matchLabels:
          tier: node
          app: flannel
      template:
        metadata:
          labels:
            tier: node
            app: flannel

Затем установите Flannel через kubectl и проверьте, отображается ли статус модуля flannel через kubectl.

    kubectl apply -f kube-flannel.yaml
    [root@k8s-master001 ~]# kubectl  get no
    NAME            STATUS   ROLES    AGE     VERSION
    k8s-master001   Ready    master   6m35s   v1.19.0
    [root@k8s-master001 ~]# kubectl  get po -n kube-system
    NAME                                    READY   STATUS    RESTARTS   AGE
    coredns-6d56c8448f-9cr5l                1/1     Running   0          6m51s
    coredns-6d56c8448f-wsjwx                1/1     Running   0          6m51s
    etcd-k8s-master001                      1/1     Running   0          7m
    kube-apiserver-k8s-master001            1/1     Running   0          7m
    kube-controller-manager-k8s-master001   1/1     Running   0          7m
    kube-flannel-ds-nmfwd                   1/1     Running   0          4m36s
    kube-proxy-pqrnl                        1/1     Running   0          6m51s
    kube-scheduler-k8s-master001            1/1     Running   0          7m

Вы можете увидеть модуль с именем kube-flannel-ds-nmfwd, статус запущен, что указывает на то, что фланель была установлена,
потому что есть только один узел и виден только один модуль фланели. Если вы продолжите добавлять еще два узла, он будет Посмотрите другие модули и
продолжайте добавлять главные узлы

### Добавьте еще один управляющий узел master002, master003,
потому что уже есть управляющий узел, кластер уже существует, просто добавьте оставшиеся машины в кластер, добавленную информацию можно увидеть в выходных данных, когда узел только что инициализирован , Команда выглядит следующим образом.
Поскольку выходных данных слишком много, некоторая неважная выходная информация будет удалена
и обработана на master002:

    [root@k8s-master002 ~]#   kubeadm join 10.26.25.23:8443 --token f28iti.c5fgj45u28332ga7     --discovery-token-ca-cert-hash sha256:81ec8f1d1db0bb8a31d64ae31091726a92b9294bcfa0e2b4309b9d8c5245db41     --control-plane --certificate-key 93f9514164e2ecbd85293a9c671344e06a1aa811faf1069db6f678a1a5e6f38b
    [preflight] Running pre-flight checks
            [WARNING IsDockerSystemdCheck]: detected "cgroupfs" as the Docker cgroup driver. The recommended driver is "systemd". Please follow the guide at https://kubernetes.io/docs/setup/cri/
    [preflight] Reading configuration from the cluster...
    [preflight] FYI: You can look at this config file with 'kubectl -n kube-system get cm kubeadm-config -oyaml'
    [preflight] Running pre-flight checks before initializing the new control plane instance
    [preflight] Pulling images required for setting up a Kubernetes cluster
    [preflight] This might take a minute or two, depending on the speed of your internet connection
    [preflight] You can also perform this action in beforehand using 'kubeadm config images pull'
    [download-certs] Downloading the certificates in Secret "kubeadm-certs" in the "kube-system" Namespace
    ..............
    To start administering your cluster from this node, you need to run the following as a regular user:
            mkdir -p $HOME/.kube
            sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
            sudo chown $(id -u):$(id -g) $HOME/.kube/config
    Run 'kubectl get nodes' to see this node join the cluster.

Этот вывод указывает на то, что добавление выполнено успешно.
Теперь давайте проверим информацию об узле кластера.

    [root@k8s-master002 ~]# kubectl  get no 
    NAME            STATUS   ROLES    AGE     VERSION
    k8s-master001   Ready    master   21m     v1.19.0
    k8s-master002   Ready    master   6m5s    v1.19.0

На выходе вы можете увидеть два главных узла. Операция добавления узла master003 такая же, как и master002, поэтому я не скажу больше.

После добавления всех трех последних узлов конкретную информацию о кластере можно будет увидеть через kubectl.

    [root@k8s-master003 ~]# kubectl  get no 
    NAME            STATUS   ROLES    AGE   VERSION
    k8s-master001   Ready    master   25m   v1.19.0
    k8s-master002   Ready    master   10m   v1.19.0
    k8s-master003   Ready    master   26s   v1.19.0

Наконец, проверьте все запущенные модули

    [root@k8s-master003 ~]# kubectl  get po -n kube-system
    NAME                                    READY   STATUS    RESTARTS   AGE
    coredns-6d56c8448f-9cr5l                1/1     Running   0          27m
    coredns-6d56c8448f-wsjwx                1/1     Running   0          27m
    etcd-k8s-master001                      1/1     Running   0          27m
    etcd-k8s-master002                      1/1     Running   0          8m19s
    etcd-k8s-master003                      1/1     Running   0          83s
    kube-apiserver-k8s-master001            1/1     Running   0          27m
    kube-apiserver-k8s-master002            1/1     Running   0          12m
    kube-apiserver-k8s-master003            1/1     Running   0          85s
    kube-controller-manager-k8s-master001   1/1     Running   1          27m
    kube-controller-manager-k8s-master002   1/1     Running   0          12m
    kube-controller-manager-k8s-master003   1/1     Running   0          81s
    kube-flannel-ds-2lh42                   1/1     Running   0          2m31s
    kube-flannel-ds-nmfwd                   1/1     Running   0          25m
    kube-flannel-ds-w276b                   1/1     Running   0          11m
    kube-proxy-dzpdz                        1/1     Running   0          2m39s
    kube-proxy-hd5tb                        1/1     Running   0          12m
    kube-proxy-pqrnl                        1/1     Running   0          27m
    kube-scheduler-k8s-master001            1/1     Running   1          27m
    kube-scheduler-k8s-master002            1/1     Running   0          12m
    kube-scheduler-k8s-master003            1/1     Running   0          76s

Теперь вы можете видеть, что основные службы Kubernetes, apiserver, -controller-manager и scheduler - это все три модуля.

Выше развёрнуты хай-тек мастера кубернетов.
Теперь вы можете использовать веб-интерфейс управления haproxy, чтобы увидеть, что доступны три мастера.

### Устранение неполадок
Если мастеру не удается инициализировать или не удается добавить узел, вы можете использовать сброс kubeadm для сброса, а затем переустановить
##### Сбросить узел

    [root@k8s-node003 haproxy]# kubeadm  reset 
    [reset] Reading configuration from the cluster...
    [reset] FYI: You can look at this config file with 'kubectl -n kube-system get cm kubeadm-config -oyaml'
    W0910 05:31:57.345399   20386 reset.go:99] [reset] Unable to fetch the kubeadm-config ConfigMap from cluster: failed to get node registration: node k8s-node003 doesn't have kubeadm.alpha.kubernetes.io/cri-socket annotation
    [reset] WARNING: Changes made to this host by 'kubeadm init' or 'kubeadm join' will be reverted.
    [reset] Are you sure you want to proceed? [y/N]: y
    [preflight] Running pre-flight checks
    W0910 05:31:58.580982   20386 removeetcdmember.go:79] [reset] No kubeadm config, using etcd pod spec to get data directory
    [reset] No etcd config found. Assuming external etcd
    [reset] Please, manually reset etcd to prevent further issues
    [reset] Stopping the kubelet service
    [reset] Unmounting mounted directories in "/var/lib/kubelet"
    [reset] Deleting contents of config directories: [/etc/kubernetes/manifests /etc/kubernetes/pki]
    [reset] Deleting files: [/etc/kubernetes/admin.conf /etc/kubernetes/kubelet.conf /etc/kubernetes/bootstrap-kubelet.conf /etc/kubernetes/controller-manager.conf /etc/kubernetes/scheduler.conf]
    [reset] Deleting contents of stateful directories: [/var/lib/kubelet /var/lib/dockershim /var/run/kubernetes /var/lib/cni]
    The reset process does not clean CNI configuration. To do so, you must remove /etc/cni/net.d
    The reset process does not reset or clean up iptables rules or IPVS tables.
    If you wish to reset iptables, you must do so manually by using the "iptables" command.
    If your cluster was setup to utilize IPVS, run ipvsadm --clear (or similar)
    to reset your system's IPVS tables.
    The reset process does not clean your kubeconfig files and you must remove them manually.
    Please, check the contents of the $HOME/.kube/config file.

В одной статье слишком много содержания. Дополнительную информацию см. В следующей статье. . .

рекомендация

отblog.51cto.com/1648324/2535302
рекомендация
ранжирование
Примеры воспроизведения аудио и видео Хасс Hi3559a одновременно
Тест на проникновение интерфейса NATAPP в интранет
2. Анализ процесса запуска ядра Linux
Java реализует преобразование файла csv в xml
PHP + MySQL круг микро-канал друзей, чтобы разделить на JSAPI и других платформы, для достижения поставленных фотографий, ссылки
Docker操作镜像
Linux виртуальная машина U диск монтировать
Прототип дизайн прототипа платформы для обмена опытом арендаторам
Пытки души: если вы находитесь в сценарии с высоким уровнем параллелизма, что вы делаете, чтобы достичь предела тока системы?
All possibilities of DFS-string cutting (the elements in the combined result must all be palindrome strings)
файл
более
2024-07-04(0)
2024-07-03(0)
2024-07-02(0)
2024-07-01(0)
2024-06-30(0)
2024-06-29(0)
2024-06-28(0)
2024-06-27(0)
2024-06-26(0)
2024-06-25(0)

Код мира

© 2018 codetd.com