Kubernetes的PersistentVolume子系统为用户和管理员提供了一个API，它从存储的使用方式中抽象出存储提供方式的细节。K8S引入了两个新的API资源:PersistentVolumeh和PersistentVolumeClaim。
持久性卷(PV)是集群中的一段存储，由管理员提供或使用存储类动态提供。它是集群中的资源，就像节点是集群资源一样。PV是与卷类似的卷插件，但其生命周期独立于使用PV的任何单独Pod。这个API对象实现存储的实现可以是NFS、iSCSI或者特定于云提供程序的存储系统。
PersistentVolumeClaim (PVC)是用户对存储的请求。pod消耗节点资源，而pvc消耗PV资源。Pods可以请求特定级别的资源(CPU和内存)。pvc可以请求特定的大小和访问模式(例如，它们可以挂载一次读/写或多次只读)。
什么是NFS？
NFS就是Network File System的缩写，它最大的功能就是可以通过网络，让不同的机器、不同的操作系统可以共享彼此的文件。
NFS服务器可以让PC将网络中的NFS服务器共享的目录挂载到本地端的文件系统中，而在本地端的系统中来看，那个远程主机的目录就好像是自己的一个磁盘分区一样。
NFS工作流程
- 首先服务器端启动RPC服务，并开启111端口；
- 服务器端启动NFS服务，并向RPC注册端口信息；
- 客户端启动RPC（portmap服务），向服务端的RPC(portmap)服务请求服务端的NFS端口；
- 服务端的RPC(portmap)服务反馈NFS端口信息给客户端；
- 客户端通过获取的NFS端口来建立和服务端的NFS连接并进行数据的传输。
Linux下NFS服务器部署NFS服务所需软件及主要配置文件
安装NFS服务，需要安装两个软件，分别是：
RPC主程序：rpcbind
NFS 其实可以被视为一个 RPC 服务，因为启动任何一个 RPC 服务之前，我们都需要做好 port 的对应 (mapping) 的工作才行，这个工作其实就是『 rpcbind 』这个服务所负责的！也就是说， 在启动任何一个 RPC 服务之前，我们都需要启动 rpcbind 才行！ (在 CentOS 5.x 以前这个软件称为 portmap，在 CentOS 6.x 之后才称为 rpcbind 的！)。
NFS主程序：nfs-utils
就是提供 rpc.nfsd 及 rpc.mountd 这两个 NFS daemons 与其他相关 documents 与说明文件、执行文件等的软件！这个就是 NFS 服务所需要的主要软件。
NFS的相关文件：
主要配置文件：/etc/exports
这是 NFS 的主要配置文件了。该文件是空白的，有的系统可能不存在这个文件，主要手动建立。NFS的配置一般只在这个文件中配置即可。
NFS 文件系统维护指令：/usr/sbin/exportfs
这个是维护 NFS 分享资源的指令，可以利用这个指令重新分享 /etc/exports 变更的目录资源、将 NFS Server 分享的目录卸除或重新分享。
*分享资源的登录档：/var/lib/nfs/tab
在 NFS 服务器的登录文件都放置到 /var/lib/nfs/ 目录里面，在该目录下有两个比较重要的登录档， 一个是 etab ，主要记录了 NFS 所分享出来的目录的完整权限设定值；另一个 xtab 则记录曾经链接到此 NFS 服务器的相关客户端数据。
客户端查询服务器分享资源的指令：/usr/sbin/showmount
这是另一个重要的 NFS 指令。exportfs 是用在 NFS Server 端，而 showmount 则主要用在 Client 端。showmount 可以用来察看 NFS 分享出来的目录资源。
配置Lunix Server
重新部署一台CentOS 7，IP：172.16.7.100
第一步：安装NFS和rpc
[root@nfs-server ~]# yum install -y nfs-utils # 安装nfs服务
[root@nfs-server ~]# yum install -y rpcbind # 安装rpc服务
第二步：启动服务和设置开启启动
[root@nfs-server ~]# systemctl start rpcbind
[root@nfs-server ~]# systemctl enable rpcbind.service
Created symlink from /etc/systemd/system/multi-user.target.wants/rpcbind.service to /usr/lib/systemd/system/rpcbind.service.
[root@nfs-server ~]# systemctl start nfs-server
[root@nfs-server ~]# systemctl start nfs-secure-server
[root@nfs-server ~]# systemctl enable nfs-secure
[root@nfs-server ~]# firewall-cmd --permanent --add-service=nfs
success
[root@nfs-server ~]# firewall-cmd --reload
success
第三步：配置共享文件目录，编辑配置文件
[root@nfs-server ~]# mkdir /public
[root@nfs-server ~]# vim /etc/exports
/public 172.16.7.0/24(rw,sync,no_root_squash,no_all_squash)
配置文件说明：
格式： 共享目录的路径 允许访问的NFS客户端（共享权限参数）
如上，共享目录为/public , 允许访问的客户端为192.168.245.0/24网络用户，权限为只读。
请注意，NFS客户端地址与权限之间没有空格。
NFS输出保护需要用到kerberos加密（none，sys，krb5，krb5i，krb5p），格式sec=XXX
none：以匿名身份访问，如果要允许写操作，要映射到nfsnobody用户，同时布尔值开关要打开，setsebool nfsd_anon_write 1
sys：文件的访问是基于标准的文件访问，如果没有指定，默认就是sys， 信任任何发送过来用户名
krb5：客户端必须提供标识，客户端的表示也必须是krb5，基于域环境的认证
krb5i：在krb5的基础上做了加密的操作，对用户的密码做了加密，但是传输的数据没有加密
krb5p：所有的数据都加密
用于配置NFS服务程序配置文件的参数：
| 参数 | 作用 |
|---|---|
| ro | 只读 |
| rw | 读写 |
| root_squash | 当NFS客户端以root管理员访问时，映射为NFS服务器的匿名用户 |
| no_root_squash | 当NFS客户端以root管理员访问时，映射为NFS服务器的root管理员 |
| all_squash | 无论NFS客户端使用什么账户访问，均映射为NFS服务器的匿名用户 |
| sync | 同时将数据写入到内存与硬盘中，保证不丢失数据 |
| async | 优先将数据保存到内存，然后再写入硬盘；这样效率更高，但可能会丢失数据 |
[root@nfs-server ~]# systemctl reload nfs
[root@nfs-server ~]# showmount -e localhost
Export list for localhost:
/public 172.16.7.0/24
第四步：在客户端验证
使用showmount命令查看nfs服务器共享信息。输出格式为“共享的目录名称 允许使用客户端地址”
[root@k8s-node3 ~]# showmount -e 172.16.7.100
Export list for 172.16.7.100:
/public 172.16.7.0/24
[root@k8s-node3 ~]# mkdir /nfs
[root@k8s-node3 ~]# mount -t nfs 172.16.7.100:/public /nfs
[root@k8s-node3 ~]# df -h
Filesystem Size Used Avail Use% Mounted on
devtmpfs 979M 0 979M 0% /dev
······
172.16.7.100:/public 18G 3.7G 15G 21% /nfs
[root@k8s-node3 ~]# umount /nfs
showmount命令的用法
| 参数 | 作用 |
|---|---|
| -e | 显示NFS服务器的共享列表 |
| -a | 显示本机挂载的文件资源的情况NFS资源的情况 |
| -v | 显示版本号 |
也可以在客户端创建目录，并挂载共享目录
[root@k8s-node3 ~]# vim /etc/fstab
#在该文件中挂载，使系统每次启动时都能自动挂载
172.16.7.100:/public /nfs nfs defaults 0 0
在K8S创建NFS持久化存储
1.创建PV和PVC
创建pv-test.yaml并应用
apiVersion: v1
kind: PersistentVolume
metadata:
name: nfs
spec:
storageClassName: manual
capacity:
storage: 1Gi
accessModes:
- ReadWriteMany
nfs:
server: 172.16.7.100
path: /public
[root@k8s-master ~]# kubectl apply -f pv-test.yaml
persistentvolume/nfs created
[root@k8s-master ~]# kubectl get pv
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE
nfs 1Gi RWX Retain Available manual 6s
[root@k8s-master ~]# kubectl describe pv nfs
Name: nfs
Labels: <none>
Annotations: kubectl.kubernetes.io/last-applied-configuration:
{"apiVersion":"v1","kind":"PersistentVolume","metadata":{"annotations":{},"name":"nfs"},"spec":{"accessModes":["ReadWriteMany"],"capacity"...
Finalizers: [kubernetes.io/pv-protection]
StorageClass: manual
Status: Available
Claim:
Reclaim Policy: Retain
Access Modes: RWX
VolumeMode: Filesystem
Capacity: 1Gi
Node Affinity: <none>
Message:
Source:
Type: NFS (an NFS mount that lasts the lifetime of a pod)
Server: 172.16.7.100
Path: /public
ReadOnly: false
Events: <none>
创建pvc-test.yaml并应用
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: nfs
spec:
accessModes:
- ReadWriteMany
storageClassName: manual
resources:
requests:
storage: 1Gi
[root@k8s-master ~]# kubectl apply -f pvc-test.yaml
persistentvolumeclaim/nfs created
[root@k8s-master ~]# kubectl get pvc
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
nfs Bound nfs 1Gi RWX manual 7s
[root@k8s-master ~]# kubectl describe pvc nfs
Name: nfs
Namespace: default
StorageClass: manual
Status: Bound
Volume: nfs
Labels: <none>
Annotations: kubectl.kubernetes.io/last-applied-configuration:
{"apiVersion":"v1","kind":"PersistentVolumeClaim","metadata":{"annotations":{},"name":"nfs","namespace":"default"},"spec":{"accessModes":[...
pv.kubernetes.io/bind-completed: yes
pv.kubernetes.io/bound-by-controller: yes
Finalizers: [kubernetes.io/pvc-protection]
Capacity: 1Gi
Access Modes: RWX
VolumeMode: Filesystem
Mounted By: <none>
Events: <none>
2.创建Pod yaml文件并应用nfs pvc
apiVersion: v1
kind: Pod
metadata:
name: web
namespace: default
labels:
role: web
spec:
containers:
- name: web
image: nginx:latest
ports:
- name: web
containerPort: 80
volumeMounts:
- name: nfs
mountPath: "usr/share/nginx/html"
volumes:
- name: nfs
persistentVolumeClaim:
claimName: nfs
[root@k8s-master ~]# vim pod-nfs.yaml
[root@k8s-master ~]# kubectl apply -f pod-nfs.yaml
pod/web created
[root@k8s-master ~]# kubectl get pod web
NAME READY STATUS RESTARTS AGE
web 1/1 Running 0 8m51s
[root@k8s-master ~]# kubectl describe pod web
Name: web
Namespace: default
Priority: 0
Node: k8s-node2/172.16.7.12
Start Time: Fri, 14 Feb 2020 15:10:54 +0800
Labels: role=web
Annotations: kubectl.kubernetes.io/last-applied-configuration:
{"apiVersion":"v1","kind":"Pod","metadata":{"annotations":{},"labels":{"role":"web"},"name":"web","namespace":"default"},"spec":{"containe...
podpreset.admission.kubernetes.io/podpreset-cache-pod-perset: 773827
Status: Running
IP: 10.244.2.42
IPs:
IP: 10.244.2.42
Containers:
web:
Container ID: docker://efe845b2c5ef89642f991a576afd2aa8021f294a913b55db0b20f8091497c8f0
Image: nginx:latest
Image ID: docker-pullable://nginx@sha256:ad5552c786f128e389a0263104ae39f3d3c7895579d45ae716f528185b36bc6f
Port: 80/TCP
Host Port: 0/TCP
State: Running
Started: Fri, 14 Feb 2020 15:11:01 +0800
Ready: True
Restart Count: 0
Environment: <none>
Mounts:
/cache from cache-volume (rw)
/var/run/secrets/kubernetes.io/serviceaccount from default-token-r6kq6 (ro)
usr/share/nginx/html from nfs (rw)
Conditions:
Type Status
Initialized True
Ready True
ContainersReady True
PodScheduled True
Volumes:
nfs:
Type: PersistentVolumeClaim (a reference to a PersistentVolumeClaim in the same namespace)
ClaimName: nfs
ReadOnly: false
cache-volume:
Type: EmptyDir (a temporary directory that shares a pod's lifetime)
Medium:
SizeLimit: <unset>
default-token-r6kq6:
Type: Secret (a volume populated by a Secret)
SecretName: default-token-r6kq6
Optional: false
QoS Class: BestEffort
Node-Selectors: <none>
Tolerations: node.kubernetes.io/not-ready:NoExecute for 300s
node.kubernetes.io/unreachable:NoExecute for 300s
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Normal Scheduled 9m13s default-scheduler Successfully assigned default/web to k8s-node2
Normal Pulling 9m9s kubelet, k8s-node2 Pulling image "nginx:latest"
Normal Pulled 9m6s kubelet, k8s-node2 Successfully pulled image "nginx:latest"
Normal Created 9m6s kubelet, k8s-node2 Created container web
Normal Started 9m6s kubelet, k8s-node2 Started container web
验证
[root@k8s-master ~]# kubectl get pod web -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
web 1/1 Running 0 25m 10.244.2.42 k8s-node2 <none> <none>
[root@k8s-master ~]# kubectl exec -it web bash
root@web:/# ls /usr/share/nginx/html/
root@web:/# touch /usr/share/nginx/html/test
root@web:/# ls /usr/share/nginx/html/
test
在NFS服务器上面查看
[root@nfs-server ~]# ls /public/
test
参考文章：
CSDN博主「曹世宏的博客」的原创文章《NFS服务器搭建与配置》
原文链接：https://blog.csdn.net/qq_38265137/article/details/83146421
