kubernetes集群配置serviceaccount;Service Account和RBAC授权

https://blog.51cto.com/ylw6006/2067326

Kubernetes API的其它服务。Service Account它并不是给kubernetes集群的用户使用的，而是给pod里面的进程使用的，它为pod提供必要的身份认证。

Kubernetes提供了Secret来处理敏感信息，目前Secret的类型有3种： 
Opaque(default): 任意字符串 
kubernetes.io/service-account-token: 作用于ServiceAccount
kubernetes.io/dockercfg: 作用于Docker registry，用户下载docker镜像认证使用。

本文将介绍在kubernetes集群中配置serviceaccount和secret，可以让kubernetes使用私有仓库，并支持nginx basic认证。由于我们采用的是rpm包方式安装的kubernetes集群，默认没有ca.crt、kubecfg.crt kubecfg.key 、server.cert 、server.key这些文件，需要下载源码生成。

一、使用工具生成key文件

# mkdir git
# cd git/
# git clone https://github.com/kubernetes/kubernetes

科学上网方式下载easy-rsa.tar.gz，下载地址在make-ca-cert.sh脚本中可以找到，将文件放到~/kube目录下

# ls ~/kube
easy-rsa.tar.gz
# cd /root/git/kubernetes/
# sh cluster/centos/make-ca-cert.sh 192.168.115.5
# ls /srv/kubernetes/
ca.crt  kubecfg.crt  kubecfg.key  server.cert  server.key
# chown -R kube:kube /srv/kubernetes/*

将这些文件发送到vm2主机的相同目录

# chown -R kube:kube /srv/kubernetes/*
# scp -rp /srv/ root@vm2:/

二、修改配置文件

# grep -v '^#' /etc/kubernetes/apiserver |grep -v '^$'
KUBE_API_ADDRESS="--insecure-bind-address=192.168.115.5"
KUBE_ETCD_SERVERS="--etcd-servers=http://192.168.115.5:2379"
KUBE_SERVICE_ADDRESSES="--service-cluster-ip-range=10.254.0.0/16"
KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,ServiceAccount,SecurityContextDeny,ResourceQuota"
KUBE_API_ARGS="--storage-backend=etcd2 --secure-port=6443 --client-ca-file=/srv/kubernetes/ca.crt --tls-cert-file=/srv/kubernetes/server.cert --tls-private-key-file=/srv/kubernetes/server.key"

# grep -v '^#' /etc/kubernetes/controller-manager |grep -v '^$'
KUBE_CONTROLLER_MANAGER_ARGS="--root-ca-file=/srv/kubernetes/ca.crt --service-account-private-key-file=/srv/kubernetes/server.key"

三、重启相关服务

Master:
# systemctl restart kube-apiserver
# systemctl restart kube-controller-manager
# systemctl restart kube-scheduler

Slave：
# systemctl restart kubelet
# systemctl restart kube-proxy

# kubectl get secret    
# kubectl describe secret default-token-6pddn

四、通过配置secret，让kubernetes可以从私有仓库中拉取镜像

# kubectl create secret docker-registry regsecret \
--docker-server=registry.fjhb.cn  \
--docker-username=ylw \
 --docker-password=123 \
 [email protected]

在yaml文件sepc节加入imagePullSecrets，指定使用创建好的secret

# kubectl create -f frontend-controller.yaml

通过参考kubernetes的官方文档，并不能解决实际问题
https://kubernetes.io/docs/tasks/configure-pod-container/pull-image-private-registry/

nginx日志依然报401认证错误

我们知道使用docker pull去私有仓库拉取镜像，需要先使用docker login登陆一下私有仓库，而login执行的操作，实际上就是在用户的家目录写入了.docker/config.json文件。将此文件做一个软链接到 /var/lib/kubelet/.docker/就可以解决此问题了。当配置了软连接后就不需要在yaml文件中引用前面的创建的secret了。

# cat /root/.docker/config.json
# ln -s /root/.docker/ /var/lib/kubelet/.docker/

# kubectl create -f frontend-controller.yaml

https://www.cnblogs.com/zhangb8042/p/10199493.html

一、介绍

Service Account概念的引入是基于这样的使用场景：运行在pod里的进程需要调用Kubernetes API以及非Kubernetes API的其它服务。Service Account它并不是给kubernetes集群的用户使用的，而是给pod里面的进程使用的，它为pod提供必要的身份认证。
 

二、创建Service Account

###serviceaccount（服务账号）
1、#创建serviceaccount
kubectl  create  serviceaccount  mysa
2、#查看mysa
[root@k8s-m ~]# kubectl  describe sa mysa
Name:                mysa
Namespace:           default
Labels:              <none>
Annotations:         <none>
Image pull secrets:  <none>
Mountable secrets:   mysa-token-2zjlp
Tokens:              mysa-token-2zjlp
Events:              <none>
3、#查看mysa自动创建的secret
[root@k8s-m ~]# kubectl  get secret
NAME                  TYPE                                  DATA      AGE
default-token-29dpx   kubernetes.io/service-account-token   3         119d
mysa-token-2zjlp      kubernetes.io/service-account-token   3         1m
4、#使用mysa的sa资源配置pod
[root@k8s-m ~]# cat mysa-pod.yaml
apiVersion: v1
kind: Pod
metadata:
  name: nginx-pod
  labels:
    app: my-pod

spec:
  containers:
  - name: my-pod
    image: nginx
    ports:
    - name: http
      containerPort: 80
  serviceAccountName: mysa
  5、#导入
[root@k8s-m ~]# kubectl apply -f  mysa-pod.yaml
6、#查看
[root@k8s-m ~]# kubectl  describe pod nginx-pod
7、#查看使用的token和secret（使用的是mysa的token）
kubectl  get  pod nginx-pod  -o jsonpath={".spec.volumes"}

创建k8s账号及RBAC授权

一、介绍

在Kubernetes中，授权有ABAC（基于属性的访问控制）、RBAC（基于角色的访问控制）、Webhook、Node、AlwaysDeny（一直拒绝）和AlwaysAllow（一直允许）这6种模式。从1.6版本起，Kubernetes 默认启用RBAC访问控制策略。从1.8开始，RBAC已作为稳定的功能。通过设置–authorization-mode=RBAC，启用RABC。在RABC API中，通过如下的步骤进行授权：1）定义角色：在定义角色时会指定此角色对于资源的访问控制的规则；2）绑定角色：将主体与角色进行绑定，对用户进行访问授权。

二、创建k8s账号与RBAC授权使用

##创建账号
#1、创建私钥
(umask 077; openssl genrsa -out zhang.key 2048)
#用此私钥创建一个csr(证书签名请求)文件
openssl  req -new -key zhang.key -out zhang.csr -subj  "/CN=zhang"
openssl x509 -req -in zhang.csr -CA  /etc/kubernetes/pki/ca.crt  -CAkey /etc/kubernetes/pki/ca.key -CAcreateserial -out zhang.crt -days 365
#2、查看证书内容
openssl  x509 -in zhang.crt  -text -noout
kubectl   config  set-credentials zhang  --client-certificate=./zhang.crt  --client-key=./zhang.key   --embed-certs=true
#3、设置上下文
kubectl  config   set-context  zhang@kubernetes --cluster=kubernetes --user=zhang
#4、切换用户
kubectl  config use-context zhang@kubernetes
##测试（还未赋予权限）
[root@k8s-m ssl]# kubectl  get pod
No resources found.
Error from server (Forbidden): pods is forbidden: User "zhang" cannot list pods in the namespace "default"
##授权
#K8S授权请求是http的请求
对象URL格式：
/apis/[GROUP]/[VERSION]/namespace/[NAMESPACE_NAME]/[KIND]/[OBJECT_ID]
k8s授权方式分为：serviceaccount和自己签证ca证书的账号，及签证ca的用户组（group）上（授权给这个组的权限）
#简介
role:
1、允许的操作，如get,list等
2、允许操作的对象，如pod,svc等
rolebinding:将哪个用户绑定到哪个role或clusterrole上
clusterrole：(集群角色)
clusterrolebinding:(绑定到集群)
3、如果使用rolebinding绑定到clusterrole上，表示绑定的用户只能用于当前namespace的权限
#创建一个角色（role）
kubectl  create role  myrole  --verb=get,list,watch --resource=pod,svc
#绑定用户zhang（上面创建的用户），绑定role为myrole
kubectl  create  rolebinding myrole-binding  --role=myrole  --user=zhang
#切换用户
[root@k8s-m ~]# kubectl  config use-context zhang@kubernetes
Switched to context "zhang@kubernetes".
#查看权限（只授权了default名称空间pod和svc的get，list，watch权限）
[root@k8s-m ~]# kubectl  get pod
NAME                     READY     STATUS              RESTARTS   AGE
nginx-pod                0/1       ImagePullBackOff    0          1h
[root@k8s-m ~]# kubectl  get pod -n kube-system #无权访问kube-system
No resources found.
Error from server (Forbidden): pods is forbidden: User "zhang" cannot list pods in the namespace "kube-system"
[root@k8s-m ~]# kubectl  delete pod nginx-pod #无删除权限
Error from server (Forbidden): pods "nginx-pod" is forbidden: User "zhang" cannot delete pods in the namespace "default"
#创建clusterrole#可以访问全部的namespace
kubectl  create clusterrole mycluster-role --verb=get,list,watch  --resource=pod,svc
#删除zhang账号之前绑定的rolebinding
kubectl  delete rolebinding myrole-binding
#使用clusterrolebinding绑定clusterrole
kubectl  create clusterrolebinding my-cluster-rolebinding   --clusterrole=mycluster-role  --user=zhang
#切换账号
kubectl  config use-context zhang@kubernetes
#查看权限 查看kube-system空间的pod
[root@k8s-m ~]# kubectl  get pod -n kube-system
NAME                            READY     STATUS    RESTARTS   AGE
coredns-78fcdf6894-67h9h        1/1       Running   1          11h
coredns-78fcdf6894-lzxmz        1/1       Running   1          11h
etcd-k8s-m                      1/1       Running   2          11h
......

　　

配置一个新账号和配置文件并授权

##创建证书
(umask 077; openssl genrsa -out k8s.key 2048)
#用此私钥创建一个csr(证书签名请求)文件(/0是组名)
openssl  req -new -key k8s.key -out k8s.csr -subj  "/CN=k8s/O=zhang"
openssl x509 -req -in k8s.csr -CA  /etc/kubernetes/pki/ca.crt  -CAkey /etc/kubernetes/pki/ca.key -CAcreateserial -out k8s.crt -days 365
#查看证书内容
openssl  x509 -in k8s.crt  -text -noout
##创建secret
#创建一个generic的secre namespace设置为default
kubectl  create  secret generic k8s  -n default  --from-file=k8s.crt=./k8s.crt   --from-file=k8s.key=./k8s.key
#查看
[root@k8s-m ~]# kubectl  get secret |grep k8s
k8s                   Opaque                                2         35s
###配置生成
kubectl config set-cluster  kubernetes    --certificate-authority=/etc/kubernetes/pki/ca.crt  --server="https://10.0.0.141:6443"  --embed-certs=true   --kubeconfig=./k8s.config
## 配置客户端认证
kubectl config set-credentials k8s --client-certificate=./k8s.crt   --client-key=./k8s.key --embed-certs=true  --kubeconfig=./k8s.config
### 配置关联
kubectl  config   set-context  k8s@user --cluster=kubernetes --user=k8s --kubeconfig=./k8s.config
##创建role
 kubectl  create role  k8s-role  --verb=get,list,watch --resource=pod,svc
#创建rolebinding
kubectl  create  rolebinding k8s-rolebinding  --role=k8s-role  --user=k8s
#替换配置文件
[root@k8s-m ~]# mv /root/.kube/config    /mnt/
[root@k8s-m ~]# cp k8s.config  /root/.kube/config
#修改config的current-context内容
current-context: ""
改成#
current-context: name: k8s@user
##查看
[root@k8s-m ~]# kubectl  get pod
NAME                     READY     STATUS              RESTARTS   AGE
my-statefulset-0         0/1       ContainerCreating   0          8d
nginx-6f858d4d45-6qm6g   0/1       ImagePullBackOff    0          9d
[root@k8s-m ~]# kubectl  get pod  -n kube-system
No resources found.
Error from server (Forbidden): pods is forbidden: User "k8s" cannot list pods in the namespace "kube-system"