利用kubeadm快速搭建Kubernetes学习环境

转载源自： www.cnblogs.com/miaocbin/p/…

1. 前言

本文讲述如何使用kubeadm快速搭建学习环境，为后面即将开始的Kubernetes的管理及使用做准备，并不是在生产环境中安装的高可用集群环境，生产环境的规划及安装请关注后面的文档。

2. 安装环境介绍

2.1 节点规划

部署k8s集群的节点按照用途可以划分为如下2类角色：

• master：集群的master节点，集群的初始化节点，基础配置不低于2C4G
• slave：集群的slave节点，可以多台，基础配置不低于2C4G

为了便于比较完整的学习Kubernetes各组件及功能，本文将部署一台master+2台slave，节点规划如下：

主机名	节点IP	角色	部署组件
k8s-master	172.16.0.142	master	etcd, kube-apiserver, kube-controller-manager, kubectl, kubeadm, kubelet, kube-proxy, flannel
k8s-slave1	172.16.0.143	slave	kubectl, kubelet, kube-proxy, flannel
k8s-slave2	172.16.0.144	slave	kubectl, kubelet, kube-proxy, flannel

2.2 组件版本

本学习环境所使用到的Kubernetes的各组件及版本如下：

组件	版本	说明
CentOS	7.9.2009
Kernel	Linux 3.10.0-1160.25.1.el7.x86_64
etcd	3.4.13-0	使用容器方式部署，默认数据挂载到本地路径
coredns	1.7.0
kubeadm	v1.19.8
kubectl	v1.19.8
kubelet	v1.19.8
kube-proxy	v1.19.8
flannel	v0.11.0

3. 操作系统配置

3.1 设置hosts解析

操作节点：所有节点（k8s-master，k8s-slave）均需执行

• 修改hostname hostname必须只能包含小写字母、数字、","、"-"，且开头结尾必须是小写字母或数字

# 在master节点，设置master节点的hostname
hostnamectl set-hostname k8s-master

# 在slave-1节点，设置slave1节点的hostname
hostnamectl set-hostname k8s-slave1

# 在slave-2节点，设置slave2节点的hostname
hostnamectl set-hostname k8s-slave2
复制代码

• 添加hosts解析

cat >>/etc/hosts<<EOF
172.16.0.142 k8s-master
172.16.0.143 k8s-slave1
172.16.0.144 k8s-slave2
EOF
复制代码

3.2 调整系统配置

操作节点： 所有的master和slave节点（k8s-master,k8s-slave）需要执行

本章下述操作均以k8s-master为例，其他节点均是相同的操作（ip和hostname的值换成对应机器的真实值）

• 设置安全组开放端口

如果节点间无安全组限制（内网机器间可以任意访问），可以忽略，否则，至少保证如下端口可通： k8s-master节点：TCP：6443，2379，2380，60080，60081UDP协议端口全部打开 k8s-slave节点：UDP协议端口全部打开

• 设置iptables

 iptables -P FORWARD ACCEPT
复制代码

• 关闭swap

 swapoff -a
 # 防止开机自动挂载 swap 分区
 sed -i '/ swap / s/^(.*)$/#\1/g' /etc/fstab
复制代码

• 关闭selinux和防火墙

 sed -ri 's#(SELINUX=).*#\1disabled#' /etc/selinux/config
 setenforce 0
 systemctl disable firewalld && systemctl stop firewalld
复制代码

• 修改内核参数

 cat <<EOF >  /etc/sysctl.d/k8s.conf
 net.bridge.bridge-nf-call-ip6tables = 1
 net.bridge.bridge-nf-call-iptables = 1
 net.ipv4.ip_forward=1
 vm.max_map_count=262144
 EOF
 modprobe br_netfilter
 sysctl -p /etc/sysctl.d/k8s.conf
复制代码

• 设置yum源

curl -o /etc/yum.repos.d/Centos-7.repo http://mirrors.aliyun.com/repo/Centos-7.repo
curl -o /etc/yum.repos.d/docker-ce.repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
        http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

yum clean all && yum makecache
复制代码

3.3 安装docker并配置

操作节点： 所有节点

# 查看所有的可用版本
yum list docker-ce --showduplicates | sort -r

#安装旧版本 yum install docker-ce-cli-18.09.9-3.el7  docker-ce-18.09.9-3.el7
yum install docker-ce-20.10.6 -y

# 配置docker加速
mkdir -p /etc/docker
vi /etc/docker/daemon.json
{
  "insecure-registries": [    
    "172.16.0.142:5000" 
  ],                          
  "registry-mirrors" : [
    "https://8xpk5wnt.mirror.aliyuncs.com"
  ]
}
# 启动docker
systemctl enable docker && systemctl start docker
复制代码

4. Kubernetes部署

4.1 安装kubeadm, kubelet及kubectl

操作节点： 所有的master和slave节点(k8s-master,k8s-slave) 需要执行

yum install -y kubelet-1.19.8 kubeadm-1.19.8 kubectl-1.19.8 --disableexcludes=kubernetes
# 查看kubeadm 版本
kubeadm version
# 设置kubelet开机启动
systemctl enable kubelet 
复制代码

4.2 初始化配置文件

操作节点： 只在master节点（k8s-master）执行

kubeadm config print init-defaults > kubeadm.yaml
cat kubeadm.yaml

apiVersion: kubeadm.k8s.io/v1beta2
bootstrapTokens:
- groups:
  - system:bootstrappers:kubeadm:default-node-token
  token: abcdef.0123456789abcdef
  ttl: 24h0m0s
  usages:
  - signing
  - authentication
kind: InitConfiguration
localAPIEndpoint:
  advertiseAddress: 172.16.0.142  # apiserver地址，因为单master，所以配置master的节点内网IP，可以理解为master节点的VIP，代理KPIserver的6443接口
  bindPort: 6443
nodeRegistration:
  criSocket: /var/run/dockershim.sock
  name: k8s-master
  taints:
  - effect: NoSchedule
    key: node-role.kubernetes.io/master
---
apiServer:
  timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta2
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controllerManager: {}
dns:
  type: CoreDNS
etcd:
  local:
    dataDir: /var/lib/etcd
imageRepository: registry.aliyuncs.com/google_containers  # 修改成阿里镜像源
kind: ClusterConfiguration
kubernetesVersion: v1.19.8
networking:
  dnsDomain: cluster.local
  podSubnet: 10.244.0.0/16  # Pod 网段，flannel插件需要使用这个网段，要确保和docker以及宿主机的网段不能冲突
  serviceSubnet: 10.96.0.0/12
scheduler: {}
复制代码

对于上面的资源清单的文档比较杂，要想完整了解上面的资源对象对应的属性，可以查看对应的 godoc 文档，地址: godoc.org/k8s.io/kube…。

4.3 提前下载镜像

操作节点：只在master节点（k8s-master）执行

# 查看需要使用的镜像列表,若无问题，将得到如下列表
kubeadm config images list --config kubeadm.yaml

registry.aliyuncs.com/google_containers/kube-apiserver:v1.16.0
registry.aliyuncs.com/google_containers/kube-controller-manager:v1.16.0
registry.aliyuncs.com/google_containers/kube-scheduler:v1.16.0
registry.aliyuncs.com/google_containers/kube-proxy:v1.16.0
registry.aliyuncs.com/google_containers/pause:3.1
registry.aliyuncs.com/google_containers/etcd:3.3.15-0
registry.aliyuncs.com/google_containers/coredns:1.19.8

# 提前下载镜像到本地
kubeadm config images pull --config kubeadm.yaml
[config/images] Pulled registry.aliyuncs.com/google_containers/kube-apiserver:v1.16.0
[config/images] Pulled registry.aliyuncs.com/google_containers/kube-controller-manager:v1.16.0
[config/images] Pulled registry.aliyuncs.com/google_containers/kube-scheduler:v1.16.0
[config/images] Pulled registry.aliyuncs.com/google_containers/kube-proxy:v1.16.0
[config/images] Pulled registry.aliyuncs.com/google_containers/pause:3.1
[config/images] Pulled registry.aliyuncs.com/google_containers/etcd:3.3.15-0
[config/images] Pulled registry.aliyuncs.com/google_containers/coredns:1.19.8
复制代码

4.4 初始化master节点

操作节点：只在master节点（k8s-master）执行

 kubeadm init --config kubeadm.yaml
复制代码

若初始化成功后，最后会提示如下信息：

...
Your Kubernetes master has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 172.16.0.142:6443 --token abcdef.0123456789abcdef \
    --discovery-token-ca-cert-hash sha256:1c4305f032f4bf534f628c32f5039084f4b103c922ff71b12a5f0f98d1ca9a4f
复制代码

接下来按照上述提示信息操作，配置kubectl客户端的认证

 mkdir -p $HOME/.kube
 sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
 sudo chown $(id -u):$(id -g) $HOME/.kube/config
复制代码

⚠️注意： ：

0. 此时使用 kubectl get nodes查看节点应该处于notReady状态，因为还未配置网络插件
1. 若执行初始化过程中出错，根据错误信息调整后，执行kubeadm reset后再次执行init操作即可
2. 初始化出错排查方向：1）etcd服务有没有启动；2）apiserver是否正常启动；3）kubectl是否正常；

5 添加slave节点到集群中

操作节点：所有的slave节点（k8s-slave）需要执行 在每台slave节点，执行如下命令，该命令是在kubeadm init成功后提示信息中打印出来的，需要替换成实际init后打印出的命令。

kubeadm join 172.16.0.142:6443 --token abcdef.0123456789abcdef \
    --discovery-token-ca-cert-hash sha256:1c4305f032f4bf534f628c32f5039084f4b103c922ff71b12a5f0f98d1ca9a4f
复制代码

如果忘记添加命令，可以通过如下命令生成：

 $ kubeadm token create --print-join-command
复制代码

6 安装flannel网络插件

操作节点：只在master节点（k8s-master）执行

• 下载flannel的yaml文件

 wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
复制代码

• 修改配置，指定网卡名称，大概在文件的190行，添加一行配置：

vi kube-flannel.yml
...      
      containers:
      - name: kube-flannel
        image: quay.io/coreos/flannel:v0.11.0-amd64
        command:
        - /opt/bin/flanneld
        args:
        - --ip-masq
        - --kube-subnet-mgr
        - --iface=eth0  # 如果机器存在多网卡的话，指定内网网卡的名称，默认不指定的话会找第一块网卡，如果只有一块网卡，这地方不加也可以的。
        resources:
          requests:
            cpu: "100m"
...
复制代码

• 执行安装flannel网络插件

# 先拉取镜像,此过程国内速度比较慢
docker pull quay.io/coreos/flannel:v0.14.0-amd64
# 执行flannel安装
kubectl apply -f kube-flannel.yml
复制代码

7 Kubernetes各节点配置优化

7.1 配置master节点可调度

操作节点：k8s-master

默认部署成功后，master节点无法调度业务pod，如需设置master节点也可以参与pod的调度，需执行：

 kubectl taint node k8s-master node-role.kubernetes.io/master:NoSchedule-
 # node/k8s-master untainted
 ​
 # 配置master节点不可调度
 kubectl taint nodes k8s-master node-role.kubernetes.io/master=:NoSchedule
 # node/k8s-master tainted
 ​
 # 如果不执行让master可调度，则会报错：
 # Warning  FailedScheduling  2m13s  default-scheduler  0/3 nodes are available: 1 node(s) had taint {node-role.kubernetes.io/master: }, that the pod didn't tolerate, 2 node(s) didn't match node selector.
复制代码

课程后期会部署系统组件到master节点，因此，此处建议设置k8s-master节点为可调度

7.2 设置kubectl自动补全

作用：在输入kubectl之后，按tab键，会自动给出可选项。

操作节点：k8s-master

 # 在执行如下命令即可
 yum install bash-completion -y
 source /usr/share/bash-completion/bash_completion
 source <(kubectl completion bash)
 echo "source <(kubectl completion bash)" >> ~/.bashrc
复制代码

8 验证集群

操作节点： 在master节点（k8s-master）执行

 $ kubectl get nodes     # 观察集群节点是否全部Ready
复制代码

创建测试nginx服务

 $ kubectl run test-nginx --image=nginx:alpine
复制代码

查看pod是否创建成功，并访问pod ip测试是否可用

kubectl get po -o wide
NAME             READY STATUS  RESTARTS AGE IP  NODE NOMINATED NODE READINESS GATES
test-nginx-5bd8859b98-5nnnw 1/1  Running 0  9s  10.244.1.2 k8s-slave1 <none> <none>
curl 10.244.1.2
...
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>
</body>
</html>
复制代码

9 部署Dashboard

• 部署服务

# 推荐
# 下载部署yaml
wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.2.0/aio/deploy/recommended.yaml

# 编辑文件内容，将Kubernetes-Dashboard部署为NodePort类型
vi recommended.yaml
# 修改Service为NodePort类型，文件的45行上下
......
kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kubernetes-dashboard
spec:
  ports:
    - port: 443
      targetPort: 8443
  selector:
    k8s-app: kubernetes-dashboard
  type: NodePort  # 加上type=NodePort变成NodePort类型的服务
......
复制代码

• 查看访问地址，本例为30133端口

# 下载所需镜像

# 部署Kubernetes-Dashboard
kubectl apply -f recommended.yaml
kubectl -n kubernetes-dashboard get svc
NAME                        TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)         AGE
dashboard-metrics-scraper   ClusterIP   10.107.120.70    <none>        8000/TCP        16d
kubernetes-dashboard        NodePort    10.107.202.113   <none>        443:31590/TCP   16d
复制代码

• 使用浏览器访问 https://172.16.0.142:31590/，其中172.16.0.142为master节点的外网ip地址，chrome目前由于安全限制，测试访问不了，使用firefox可以进行访问。
• 创建ServiceAccount进行访问

vi dashboard-admin.conf

kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata:
  name: admin
  annotations:
    rbac.authorization.kubernetes.io/autoupdate: "true"
roleRef:
  kind: ClusterRole
  name: cluster-admin
  apiGroup: rbac.authorization.k8s.io
subjects:
- kind: ServiceAccount
  name: admin
  namespace: kubernetes-dashboard

---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: admin
  namespace: kubernetes-dashboard

kubectl apply -f dashboard-admin.conf
kubectl -n kubernetes-dashboard get secret |grep admin-token
admin-token-fqdpf                  kubernetes.io/service-account-token   3      7m17s
# 使用该命令拿到token，然后粘贴到
kubectl -n kubernetes-dashboard get secret admin-token-fqdpf -o jsonpath={.data.token}|base64 -d
eyJhbGciOiJSUzI1NiIsImtpZCI6Ik1rb2xHWHMwbWFPMjJaRzhleGRqaExnVi1BLVNRc2txaEhETmVpRzlDeDQifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlcm5ldGVzLWRhc2hib2FyZCIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJhZG1pbi10b2tlbi1mcWRwZiIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50Lm5hbWUiOiJhZG1pbiIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50LnVpZCI6IjYyNWMxNjJlLTQ1ZG...
复制代码

5. Kubernetes集群环境清理

如果你的集群安装过程中遇到了其他问题，我们可以使用下面的命令来进行重置：

# 在全部集群节点执行
kubeadm reset
ifconfig cni0 down && ip link delete cni0
ifconfig flannel.1 down && ip link delete flannel.1
rm -rf /run/flannel/subnet.env
rm -rf /var/lib/cni/
mv /etc/kubernetes/ /tmp
mv /var/lib/etcd /tmp
mv ~/.kube /tmp
iptables -F
iptables -t nat -F
ipvsadm -C
ip link del kube-ipvs0
ip link del dummy0
复制代码

人们永远没有足够的时间把它做好，但永远有足够的时间重新来过。 可是，因为并不是总有机会重做一遍，你必须做得更好，换句话说， 人们永远没有足够的时间去考虑到底是不是想要它，但永远有足够的时间去为之后悔。 ★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★ 浅掘千口井，不如深挖一口井！当知识支撑不了野心时，那就静下心来学习吧！运维技术交流QQ群：618354452

个人微信公众号，定期发布技术文章和运维感悟。欢迎大家关注交流。

好文要顶 关注我 收藏该文

冷水泡茶
关注 - 6
粉丝 - 31

+加关注

0

0

« 上一篇： Prometheus监控MySQL5.7

posted @ 2021-10-19 17:19  冷水泡茶  阅读(22)  评论(0)  编辑  收藏  举报