CentOS 7.5二进制部署Kubernetes1.12(加密通信)(五)

企业开发 2018-11-28 12:20:45 阅读次数: 0

一、安装方式介绍

1、二进制安装

使用二进制文件安装，好处是可以安装任意版本的 Kubernetes，对一些新版本新功能追求的同学比较合适，坏处是配置比较复杂，很多软件包因为一些原因，我们在大陆是访问不到的。
这篇文章我们使用加密通信，也就是各组件和kube-apiserver的通信采用加密方式。

二、环境准备

1、软件版本

我们安装的版本基本是目前最新的版本。

软件 版本
kubernetes v1.12.2
CentOS 7.5 CentOS Linux release 7.5.1804
Docker v18.06 这是官方推荐的
etcd 3.3.10
flannel 0.10.0

2、节点规划

IP 角色 安装软件
172.18.8.200 k8s master etcd，kube-apiserver，kube-controller-manager，kube-scheduler，kubectl
172.18.8.201 k8s node01 docker，kubelet，kube-proxy
172.18.8.202 k8s node02 docker，kubelet，kube-proxy

节点及网络规划如下：
CentOS 7.5二进制部署Kubernetes1.12(加密通信)(五)

3、系统配置

关闭防火墙。

systemctl stop firewalld
systemctl disable firewalld

配置/etc/hosts，添加如下内容。

172.18.8.200 master.wzlinux.com master
172.18.8.201 node01.wzlinux.com node01
172.18.8.202 node02.wzlinux.com node02

关闭SELinux。

sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config
setenforce 0

关闭swap。

swapoff -a
sed -i 's/.*swap.*/#&/' /etc/fstab

配置转发参数。

cat <<EOF >  /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system

4、二进制软件包下载

我们可以下载编译好的二进制文件，也可以下载源码自己编译，这里只讨论二进制的安装方式。在Kubernetes的Github CHANGELOG日志中可以看到最新的版本号，也可以到Tag页面中找到自己需要的版本，我下载的是 v1.12.2。

上传我们下载的二进制软件包到各节点，并解压在root家目录，查看目录内容。

[root@master ~]# ll kubernetes/server/bin/
total 1821524
-rwxr-xr-x 1 root root  60859975 Oct 24 15:49 apiextensions-apiserver
-rwxr-xr-x 1 root root 142923436 Oct 24 15:49 cloud-controller-manager
-rw-r--r-- 1 root root         8 Oct 24 15:44 cloud-controller-manager.docker_tag
-rw-r--r-- 1 root root 144309760 Oct 24 15:44 cloud-controller-manager.tar
-rwxr-xr-x 1 root root 248021112 Oct 24 15:49 hyperkube
-rwxr-xr-x 1 root root  54042644 Oct 24 15:49 kubeadm
-rwxr-xr-x 1 root root 192781649 Oct 24 15:49 kube-apiserver
-rw-r--r-- 1 root root         8 Oct 24 15:44 kube-apiserver.docker_tag
-rw-r--r-- 1 root root 194167808 Oct 24 15:44 kube-apiserver.tar
-rwxr-xr-x 1 root root 162961401 Oct 24 15:49 kube-controller-manager
-rw-r--r-- 1 root root         8 Oct 24 15:44 kube-controller-manager.docker_tag
-rw-r--r-- 1 root root 164347392 Oct 24 15:44 kube-controller-manager.tar
-rwxr-xr-x 1 root root  57352138 Oct 24 15:49 kubectl
-rwxr-xr-x 1 root root 176648680 Oct 24 15:49 kubelet
-rwxr-xr-x 1 root root  50330867 Oct 24 15:49 kube-proxy
-rw-r--r-- 1 root root         8 Oct 24 15:44 kube-proxy.docker_tag
-rw-r--r-- 1 root root  98355200 Oct 24 15:44 kube-proxy.tar
-rwxr-xr-x 1 root root  57184656 Oct 24 15:49 kube-scheduler
-rw-r--r-- 1 root root         8 Oct 24 15:44 kube-scheduler.docker_tag
-rw-r--r-- 1 root root  58570752 Oct 24 15:44 kube-scheduler.tar
-rwxr-xr-x 1 root root   2330265 Oct 24 15:49 mounter

这些包都是存储在google的服务器上面，因为众所周知的原因，我们是无法访问的，所以需要各位科学上网才可以获取，不过我可以把我获取的包传到网盘分享给大家。
大家可以去下载使用。链接: https://pan.baidu.com/s/1Ut9VERgm55B4lmz0wjjzFQ 提取码: mjem

三、安装master

master节点需要安装的服务有kube-apiserver，kube-controller-manager，kube-scheduler，所以我们先把需要的二进制文件放到环境变量。

cd /root/kubernetes/server/bin
cp kube-apiserver kube-controller-manager kube-scheduler kubectl /usr/local/bin/

1、安装etcd

如果不是为了新版本，为了方便可以使用yum安装。

我这里采用二进制安装方法，首先下载安装包。

下载。

wget https://github.com/etcd-io/etcd/releases/download/v3.3.10/etcd-v3.3.10-linux-amd64.tar.gz

解压安装。

tar xf etcd-v3.3.10-linux-amd64.tar.gz
cd etcd-v3.3.10-linux-amd64
cp etcd etcdctl /usr/local/bin/

创建system启动文件etcd.service。

cat <<EOF > /usr/lib/systemd/system/etcd.service
[Unit]
Description=etcd.service

[Service]
Type=notify
TimeoutStartSec=0
Restart=always
WorkingDirectory=/var/lib/etcd
EnvironmentFile=-/etc/etcd/etcd.conf
ExecStart=/usr/local/bin/etcd

[Install]
WantedBy=multi-user.target
EOF

创建需要的目录。

mkdir -p /var/lib/etcd && mkdir -p /etc/etcd/

创建配置文件etcd.conf，请按照自己的实际IP进行修改。

cat <<EOF >/etc/etcd/etcd.conf
ETCD_NAME=ETCD Server
ETCD_DATA_DIR="/var/lib/etcd/"
ETCD_LISTEN_CLIENT_URLS=http://0.0.0.0:2379
ETCD_ADVERTISE_CLIENT_URLS="http://172.18.8.200:2379"
EOF

启动etcd。

systemctl daemon-reload
systemctl start etcd.service
systemctl enable etcd.service

查看启动状态。

[root@master ~]# netstat -tlnp|grep etcd
tcp        0      0 127.0.0.1:2380          0.0.0.0:*               LISTEN      1550/etcd           
tcp6       0      0 :::2379                 :::*                    LISTEN      1550/etcd    
[root@master ~]# etcdctl cluster-health
member 8e9e05c52164694d is healthy: got healthy result from http://172.18.8.200:2379
cluster is healthy

说明： etcd 会启用两个端口，其中2380 是集群的通信端口，2379是服务端口。如果是配置etcd集群，则要修改配置文件，设置监听IP和端口。

2、安装 kube-apiserver

创建启动文件/usr/lib/systemd/system/kube-apiserver.service，修改为如下内容：

[Unit]
Description=Kubernetes API Server
Documentation=https://github.com/GoogleCloudPlatform/kubernetes
After=network.target
After=etcd.service

[Service]
EnvironmentFile=/etc/kubernetes/apiserver
ExecStart=/usr/local/bin/kube-apiserver $KUBE_API_ARGS
Restart=on-failure
Type=notify
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

创建需要的目录。

mkdir /var/log/kubernetes
mkdir /etc/kubernetes
mkdir /etc/kubernetes/ssl

创建配置文件。

cat <<EOF > /etc/kubernetes/apiserver
KUBE_API_ARGS="--etcd-servers=http://172.18.8.200:2379 \
               --bind-address=0.0.0.0 \
               --secure-port=6443 \
               --service-cluster-ip-range=10.96.0.0/12 \
               --client-ca-file=/etc/kubernetes/ssl/ca.crt \
               --tls-private-key-file=/etc/kubernetes/ssl/server.key \
               --tls-cert-file=/etc/kubernetes/ssl/server.crt \
               --enable-admission-plugins=NamespaceLifecycle,LimitRanger,SecurityContextDeny,ServiceAccount,DefaultStorageClass,ResourceQuota \
               --logtostderr=false \
               --log-dir=/var/log/kubernetes \
               --v=2"
EOF

启动服务。

systemctl daemon-reload
systemctl start kube-apiserver.service

查看启动是否成功。

[root@master ~]# netstat -tnlp | grep kube
tcp6       0      0 :::6443                 :::*                    LISTEN      11086/kube-apiserve 
tcp6       0      0 :::8080                 :::*                    LISTEN      11086/kube-apiserve

3、安装kube-controller-manager

创建启动文件/usr/lib/systemd/system/kube-controller-manager.service，添加如下内容：

[Unit]
Description=Kubernetes Scheduler
After=kube-apiserver.service
Requires=kube-apiserver.service

[Service]
EnvironmentFile=-/etc/kubernetes/controller-manager
ExecStart=/usr/local/bin/kube-controller-manager \
        $KUBE_MASTER \
        $KUBE_CONTROLLER_MANAGER_ARGS
Restart=on-failure
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

创建配置文件/etc/kubernetes/controller-manager。

cat <<EOF > /etc/kubernetes/controller-manager
KUBE_MASTER="--master=http://172.18.8.200:8080"
KUBE_CONTROLLER_MANAGER_ARGS=" "
EOF

启动服务。

systemctl daemon-reload
systemctl start kube-controller-manager.service

验证服务状态。

[root@master ~]# netstat -lntp | grep kube-controll
tcp6       0      0 :::10252                :::*                    LISTEN      11131/kube-controll 
tcp6       0      0 :::10257                :::*                    LISTEN      11131/kube-controll

4、安装kube-scheduler

创建启动文件/usr/lib/systemd/system/kube-scheduler.service，添加如下内容：

[Unit]
Description=Kubernetes Scheduler
After=kube-apiserver.service
Requires=kube-apiserver.service

[Service]
User=root
EnvironmentFile=/etc/kubernetes/scheduler
ExecStart=/usr/local/bin/kube-scheduler \
        $KUBE_MASTER \
        $KUBE_SCHEDULER_ARGS
Restart=on-failure
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

创建配置文件/etc/kubernetes/scheduler。

cat <<EOF > /etc/kubernetes/scheduler
KUBE_MASTER="--master=http://172.18.8.200:8080"
KUBE_SCHEDULER_ARGS="--logtostderr=true --log-dir=/var/log/kubernetes --v=2"
EOF

启动服务。

systemctl daemon-reload
systemctl start kube-scheduler.service

验证服务状态。

[root@master ~]# netstat -lntp | grep kube-schedule
tcp6       0      0 :::10251                :::*                    LISTEN      11178/kube-schedule

使用 kubectl 查看状态。

[root@master ~]# kubectl get cs
NAME                 STATUS    MESSAGE             ERROR
etcd-0               Healthy   {"health":"true"}   
controller-manager   Healthy   ok                  
scheduler            Healthy   ok

四、安装node节点(node01为例)

node节点需要安装的服务有docker，kubelet，kube-prox，flannel，所以我们先把需要的二进制文件放到环境变量。

cp /root/kubernetes/server/bin/kubelet /usr/local/bin/
cp /root/kubernetes/server/bin/kube-proxy /usr/local/bin/

1、安装docker-ce

我们使用推荐的版本18.06，此时docker官方的最新版本为18.09，所以我们需要配置官方yum源。

wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -P /etc/yum.repos.d/
yum list docker-ce.x86_64  --showduplicates |sort -r
yum install docker-ce-18.06.1.ce -y

配置加速器。

sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://hdi5v8p1.mirror.aliyuncs.com"]
}
EOF

2、安装 kube-proxy 服务

创建启动文件/usr/lib/systemd/system/kube-proxy.service，添加如下内容：

[Unit]
Description=Kubernetes Kube-Proxy Server
Documentation=https://github.com/GoogleCloudPlatform/kubernetes
After=network.target

[Service]
EnvironmentFile=/etc/kubernetes/config
EnvironmentFile=/etc/kubernetes/proxy
ExecStart=/usr/local/bin/kube-proxy \
            $KUBE_LOGTOSTDERR \
            $KUBE_LOG_LEVEL \
            $KUBE_MASTER \
            $KUBE_PROXY_ARGS
Restart=on-failure
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

创建配置目录，并添加配置文件/etc/kubernetes/proxy。

mkdir -p /etc/kubernetes
cat <<EOF > /etc/kubernetes/proxy
KUBE_PROXY_ARGS=""
EOF
cat <<EOF > /etc/kubernetes/config
KUBE_LOGTOSTDERR="--logtostderr=true"
KUBE_LOG_LEVEL="--v=0"
KUBE_ALLOW_PRIV="--allow_privileged=false"
KUBE_MASTER="--master=http://172.18.8.200:8080"
EOF

启动服务。

systemctl daemon-reload
systemctl start kube-proxy.service
systemctl enable kube-proxy.service

查看启动状态。

[root@node01 ~]# netstat -lntp | grep kube-proxy
tcp        0      0 127.0.0.1:10249         0.0.0.0:*               LISTEN      12273/kube-proxy    
tcp6       0      0 :::10256                :::*                    LISTEN      12273/kube-proxy

3、安装 kubelete 服务

创建启动文件/usr/lib/systemd/system/kubelet.service，新增如下内容：

[Unit]
Description=Kubernetes Kubelet Server
Documentation=https://github.com/GoogleCloudPlatform/kubernetes
After=docker.service
Requires=docker.service

[Service]
WorkingDirectory=/var/lib/kubelet
EnvironmentFile=/etc/kubernetes/kubelet
ExecStart=/usr/local/bin/kubelet $KUBELET_ARGS
Restart=on-failure
KillMode=process

[Install]
WantedBy=multi-user.target
mkdir -p /var/lib/kubelet

创建配置文件/etc/kubernetes/kubelet，新增如下内容：

KUBELET_ADDRESS="--address=0.0.0.0"
KUBELET_HOSTNAME="--hostname-override=172.18.8.201"
KUBELET_API_SERVER="--api-servers=http://172.18.8.200:8080"
KUBELET_POD_INFRA_CONTAINER="--pod-infra-container-image=reg.docker.tb/harbor/pod-infrastructure:latest"
KUBELET_ARGS="--enable-server=true --enable-debugging-handlers=true --fail-swap-on=false --kubeconfig=/var/lib/kubelet/kubeconfig"

创建配置文件/var/lib/kubelet/kubeconfig，增加如下内容：

apiVersion: v1
kind: Config
users:
- name: kubelet
clusters:
- name: kubernetes
  cluster:
    server: http://172.18.8.200:8080
contexts:
- context:
    cluster: kubernetes
    user: kubelet
  name: service-account-context
current-context: service-account-context

启动kubelet。

systemctl daemon-reload
systemctl start kubelet.service
systemctl enable kubelet.service

查看启动情况。

[root@node01 ~]# netstat -tnlp | grep kubelet
tcp        0      0 127.0.0.1:43228         0.0.0.0:*               LISTEN      12658/kubelet       
tcp        0      0 127.0.0.1:10248         0.0.0.0:*               LISTEN      12658/kubelet       
tcp6       0      0 :::10250                :::*                    LISTEN      12658/kubelet       
tcp6       0      0 :::10255                :::*                    LISTEN      12658/kubelet

4、配置flannel网络(Pod使用)

我们之所以要单独使用第三方的网络插件来扩展k8s,主要原因是在使用docker的环境中，在每个node节点的docker0默认的网段都是172.17.0.0/16的网络。如果要实现不同宿主node上pod（这里也可以理解为容器）互相通信，就不能使用默认的docker0提供的网段，我们需要部署一个覆盖网络，让每个node节点的docker0网络都处于不同的网段，这样，通过添加一些路由转发策略，就能让集群中各个pod在同一个虚拟的网络中实现通信。

从github官网下载最新版本。

wget https://github.com/coreos/flannel/releases/download/v0.10.0/flannel-v0.10.0-linux-amd64.tar.gz
tar xf flannel-v0.10.0-linux-amd64.tar.gz
cp flanneld /usr/local/bin/
cp mk-docker-opts.sh /usr/local/libexec/

创建启动文件/usr/lib/systemd/system/flanneld.service，新增如下内容：

[Unit]
Description=Flanneld overlay address etcd agent
After=network.target
After=network-online.target
Wants=network-online.target
After=etcd.service
Before=docker.service

[Service]
Type=notify
EnvironmentFile=/etc/sysconfig/flanneld
EnvironmentFile=-/etc/sysconfig/docker-network
ExecStart=/usr/local/bin/flanneld -etcd-endpoints=${FLANNEL_ETCD_ENDPOINTS} -etcd-prefix=${FLANNEL_ETCD_PREFIX} $FLANNEL_OPTIONS
ExecStartPost=/usr/local/libexec/mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS -d /run/flannel/docker
Restart=on-failure

[Install]
WantedBy=multi-user.target
RequiredBy=docker.service

对上面的文件做一下解释：

  • Flannel网络必须在宿主机网络能对外（其它node节点）正常通信的情况下启动才有意义，所以这里定义After=network.target
  • 只有当Flannel 网络启动之后，才能创建一个与其它节点不会冲突的网络，而docker的网络需要和fannel 网络相同才能保证跨主机通信，所以docker必须要在flannel网络创建后才能启动，这里定义Before=docker.service

创建配置文件/etc/sysconfig/flanneld，设置为如下内容：

cat <<EOF > /etc/sysconfig/flanneld
# Flanneld configuration options  

# etcd url location.  Point this to the server where etcd runs
FLANNEL_ETCD_ENDPOINTS="http://172.18.8.200:2379"

# etcd config key.  This is the configuration key that flannel queries
# For address range assignment
FLANNEL_ETCD_PREFIX="/atomic.io/network"

# Any additional options that you want to pass
#FLANNEL_OPTIONS=""
EOF

在master节点上为 falnnel 创建分配的网络。

[root@master ~]#  etcdctl mk /atomic.io/network/config '{"Network": "10.244.0.0/16"}'

在各node节点上启动 flannel。

systemctl daemon-reload
systemctl start flanneld.service
systemctl enable flanneld.service

检查是否启动好。

ps -ef |grep flanneld

也可以使用自助安装，官方建议的使用方法。
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

5、启动docker

创建文件/usr/lib/systemd/system/docker.service.d/flannel.conf，增加如下内容，让docker使用flannel网络。

[Service]
EnvironmentFile=-/run/flannel/docker

我们最后启动docker服务。

systemctl daemon-reload
systemctl start docker.service
systemctl enable docker.service

删除docker0网桥。

ip link del docker0

五、master节点验证

[root@master ~]# kubectl get nodes
NAME                 STATUS   ROLES    AGE     VERSION
node01.wzlinux.com   Ready    <none>   20h     v1.12.2
node02.wzlinux.com   Ready    <none>   3m41s   v1.12.2

先运行几个pod看一下。

kubectl run nginx --image=nginx --replicas=3

查看一下pod状态。

[root@master ~]# kubectl get pod -o wide
NAME                    READY   STATUS              RESTARTS   AGE     IP       NODE                 NOMINATED NODE
nginx-dbddb74b8-6g2jk   0/1     ContainerCreating   0          4m51s   <none>   node02.wzlinux.com   <none>
nginx-dbddb74b8-p6pz5   0/1     ContainerCreating   0          4m51s   <none>   node01.wzlinux.com   <none>
nginx-dbddb74b8-wgbfq   0/1     ContainerCreating   0          4m51s   <none>   node01.wzlinux.com   <none>

目前启动pod还是有问题的，因为我们还没有pod基础设施镜像k8s.gcr.io/pause:3.1，就是所有pod的模板，我们需要从gcr.io下载，但是这个地址我们国内是无法访问的，在所有的node节点上，我们可以从阿里云的镜像下载，然后再tag成我们需要的镜像。

docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.1
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.1 k8s.gcr.io/pause:3.1
docker image rm registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.1

猜你喜欢

转载自blog.51cto.com/wzlinux/2323011
今日推荐
技术解析 GPT-4o：即时语音交互的突破与 GenAI 发展策略
开源大模型与闭源大模型
微信小程序授权登录获取用户的openid
亿级流量系统架构设计与实战
人工智能时代的程序设计教学与课程设计
纽交所技术问题致伯克希尔 (BRK.A) 显示跌近 100%
周排行
《Python 编程-从入门到实践》11-1~11-3
关于Numpy+TensorFlow+PyTorch构造NN的总结
【原创达人】制作WINPE启动盘心得
英文图片文字识别（提取）
2022cma看片网站给一个你懂的
二叉搜索树的实现（BST）（插入+删除+查找+各种遍历+高度）
搬家通知博文地址(将博客搬到CSDN)
asfd
解决错误：MISCONF Redis is configured to save RDB snapshots, but is currently not able to persist on disk
如何注册微信个人小程序
每日归档
更多
2024-06-08(0)
2024-06-07(0)
2024-06-06(0)
2024-06-05(0)
2024-06-04(10)
2024-06-03(52)
2024-06-02(4)
2024-06-01(60)
2024-05-31(47)
2024-05-30(4)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022