docker安全管理介绍与Docker-TLS加密通讯部署详细步骤

一，Docker容器与虚拟机的区别

1，隔离与共享

 虚拟机通过添加hypervisor层，虚拟出网卡，内存，cpu等虚拟硬件，再在其上建立虚拟机，每个虚拟机都有自己的系统内核。而docker容器则是通过隔离的方式，将文件系统，进程，设备，网络资源进行隔离，再对权限，cpu资源等进行控制。最终让容器实现  ，容器无法影响宿主机，容器与宿主机共享内核，文件系统，硬件等资源。
而容器的缺点就是容易容易被黑客攻击安全性比较低，虚拟机则没有此方面的困扰。

2，性能与损耗

与虚拟机相比，容器资源损耗更少，同样宿主机下，能苟建利容器的的数量要比虚拟机多，
但是，虚拟机的安全性比容器稍微好，要从虚拟机攻破到宿主机或其他虚拟机，需要先攻
破hypervisor层，这时及其困难的，而docker容器与宿主机共享内核，文件系统等资源更有可能对其他容器，宿主机产生影响。

二，Docker存在的安全问题

1，Docker自身漏洞

作为一款应用docker本身实现上会有代码缺陷，CVE官方记录docker历史版本共有超过20项漏洞。
黑客常用的攻击手段主要由代码执行，权限提升，信息泄露，权限绕过等，目前docker版本更迭非常快，docker用户最好将docker升级为最新版本

2，docker源码问题

Docker提供了Docker hub,可以让用户上传创建的镜像，以便其他用户下载，快速搭建环境，但同时也带来了一些安全问题，例如：

• 黑客上传了恶意镜像，如果有黑客在制作的镜像中植入木马，后门等恶意软件，那么环境从一开始就已经不安全了，后续更没有什么
• 镜像使用有漏洞的软件docker hub 上能下载的镜像里面，75%的镜像都安装了有漏洞的软件，所以下载镜像后，需要检查里面软件的版本信息，对应的版本是否存在漏洞，并及时更新上补丁。
• 中间人攻击篡改镜像，镜像在传输过程中可能被篡改，目前新版本的 Docker 已经提供了相应的校验机制来预 防这个问题

三，Docker架构缺陷与安全机制

Docker 本身的架构与机制就可能产生问题，例如这样一种攻击场景，黑客已经控制了宿主机上的一些容器，或者获得了通过在公有云上建立容器的方式，然后对宿主机或其他容器发起攻击。

• 1. 容器之间的局域网攻击
     主机上的容器之间可以构成局域网，因此针对局域网的 ARP 欺骗、嗅探、广播风暴等攻 击方式便可以用上。
     所以，在一个主机上部署多个容器需要合理的配置网络，设置 iptable 规则。
• 2. DDoS 攻击耗尽资源
     Cgroups 安全机制就是要防止此类攻击的，不要为单一的容器分配过多的资源即可避免此类问题。
• 3. 有漏洞的系统调用
     Docker与虚拟机的一个重要的区别就是Docker与宿主机共用一个操作系统内核。
     一旦宿主内核存在可以越权或者提权漏洞，尽管Docker使用普通用户执行，在容器被入侵时，攻击者还可以利用内核漏洞跳到宿主机做更多的事情。
• 4. 共享root用户权限
     如果以 root 用户权限运行容器，容器内的 root 用户也就拥有了宿主机的root权限。

四， Docker安全基线标准

下面从内核，主机，网络，镜像，容器以及其他等6个方面总结docker安全基线标准

1，内核级别

• （1）及时更新内核。
• （2）User NameSpace（容器内的 root 权限在容器之外处于非高权限状态）。
• （3）Cgroups（对资源的配额和度量）。
• （4）SELiux/AppArmor/GRSEC（控制文件访问权限）。
• （5）Capability（权限划分）。
• （6）Seccomp（限定系统调用）。
• （7）禁止将容器的命名空间与宿主机进程命名空间共享。

2，主机级别

• （1）为容器创建独立分区。
• （2）仅运行必要的服务。
• （3）禁止将宿主机上敏感目录映射到容器。
• （4）对 Docker 守护进程、相关文件和目录进行审计。
• （5）设置适当的默认文件描述符数。
• （文件描述符：内核（kernel）利用文件描述符（file descriptor）来访问文件。文件描述符是非负整数。
  打开现存文件或新建文件时，内核会返回一个文件描述符。读写文件也需要使用文件描述符来指定待读写的文件）
• （6）用户权限为 root 的 Docker 相关文件的访问权限应该为 644 或者更低权限。
• （7）周期性检查每个主机的容器清单，并清理不必要的容器。

3.网络级别

• （1）通过 iptables 设定规则实现禁止或允许容器之间网络流量。
• （2）允许 Docker 修改 iptables。
• （3）禁止将 Docker 绑定到其他 IP/Port 或者 Unix Socket。
• （4）禁止在容器上映射特权端口。
• （5）容器上只开放所需要的端口。
• （6）禁止在容器上使用主机网络模式。
• （7）若宿主机有多个网卡，将容器进入流量绑定到特定的主机网卡上。

4.镜像级别

• （1）创建本地镜像仓库服务器。
• （2）镜像中软件都为最新版本。
• （3）使用可信镜像文件，并通过安全通道下载。
• （4）重新构建镜像而非对容器和镜像打补丁。
• （5）合理管理镜像标签，及时移除不再使用的镜像。
• （6）使用镜像扫描。
• （7）使用镜像签名。

5.容器级别

• （1）容器最小化，操作系统镜像最小集。
• （2）容器以单一主进程的方式运行。
• （3）禁止 privileged 标记使用特权容器。
• （4）禁止在容器上运行 ssh 服务。
  -（5）以只读的方式挂载容器的根目录系统。
• （6）明确定义属于容器的数据盘符。
• （7）通过设置 on-failure 限制容器尝试重启的次数，容器反复重启容易丢失数据。
• （8）限制在容器中可用的进程树，以防止 fork bomb。（fork炸弹，迅速增长子进程，耗尽系统进程数量）

6.其他设置

• （1）定期对宿主机系统及容器进行安全审计。
• （2）使用最少资源和最低权限运行容器。
• （3）避免在同一宿主机上部署大量容器，维持在一个能够管理的数量。
• （4）监控 Docker 容器的使用，性能以及其他各项指标。
• （5）增加实时威胁检测和事件响应功能。
• （6）使用中心和远程日志收集服务

五，容器最小化

如果仅在容器中运行必要的服务，像 SSH 等服务是不能轻易开启去连接容器的。通常使用以下方式来进入容器。

docker exec -it a661258f6bfe bash

六，Docker remote api 访问控制

Docker的远程调用 API 接口存在未授权访问漏洞，至少应限制外网访问。建议使用 Socket 方式访问。
监听内网 ip，docker daemon 启动方式如下。

docker -d -H uninx:///var/run/docker.sock -H tcp://192.168.195.128:2375

或者

vim /usr/lib/systemd/system/docker.service

#开放本地监听地址和端口
ExecStart=/usr/bin/dockerd -H unix:///var/run/docker.sock -H tcp://192.168.195.128:2375

systemctl daemon-reload

systemctl restart docker

然后，在宿主机的 firewalld 上做 IP 访问控制即可。（source address 是客户端地址）

firewall-cmd --permanent --add-rich-rule="rule family="ipv4" source address="192.168.195.128" port protocol="tcp" port="2375" accept"

firewall-cmd --reload

在客户端操作实现远程调用

扫描二维码关注公众号，回复： 12329037 查看本文章

docker -H tcp://192.168.195.128 images

七，限制流量流向

使用防火墙过滤器限制 Docker 容器的源 IP 地址范围与外界通讯。

firewall-cmd --permanent --zone=public --add-rich-rule="rule family="ipv4" source address="192.168.195.0/24" reject"

大量问题是因为Docker容器端口外放引起的漏洞，除了操作系统账户权限控制上的问题，更在于对Docker Daemon的进程管理上存在隐患。
目前常用的Docker版本都支持Docker Daemon管理宿主iptables的，而且一旦启动进程加上-p host_port:guest_port的端口映射，
Docker Daemon会直接增加对应的FORWARD Chain并且-j ACCEPT，而默认的DROP规则是在INPUT链做的，对docker没法限制，
这就留下了很严重的安全隐患了。因此建议：

• 1. 不在有外网ip的机器上使用Docker服务
• 2. 使用k8s等docker编排系统管理Docker容器
• 3. 宿主上Docker daemon启动命令加一个–iptables=false，然后把常用iptables写进文件里，再用iptables-restore去刷。

八，镜像安全

• Docker 镜像安全扫描，在镜像仓库客户端使用证书认证，对下载的镜像进行检查。
  通过与 CVE 数据库同步扫描镜像，一旦发现漏洞则通知用户处理，或者直接阻止镜像继续构建。

• 如果公司使用的是自己的镜像源，可以跳过此步；否则，至少需要验证 baseimage 的 md5 等特征值，确认一致后再基于 baseimage 进一步构建。
  一般情况下，要确保只从受信任的库中获取镜像，并且不建议使用–insecure-registry=[] 参数，推荐使用harbor私有仓库。

九，Docker-TLS加密通讯

为了防止链路劫持、会话劫持等问题导致 Docker 通信时被中 间人攻击，c/s 两端应该通过加密方式通讯。

mkdir /tls
cd /tls

hostnamectl set-hostname master
su

vim /etc/hosts
127.0.0.1   master
//创建ca密钥
openssl genrsa -aes256 -out ca-key.pem 4096  //输入123123
//创建ca证书
openssl req -new -x509 -days 1000 -key ca-key.pem -sha256 -subj "/CN=*" -out ca.pem  //输入123123
//创建服务器私钥
openssl genrsa -out server-key.pem 4096 
//签名私钥
openssl req -subj "/CN=*" -sha256 -new -key server-key.pem -out server.csr
//使用ca证书与私钥证书签名，输入123123
openssl x509 -req -days 1000 -sha256 -in server.csr -CA ca.pem -CAkey ca-key.pem -CAcreateserial -out server-cert.pem
//生成客户端密钥
openssl genrsa -out key.pem 4096
//签名客户端
openssl req -subj "/CN=client" -new -key key.pem -out client.csr
//创建配置文件
echo extendedKeyUsage=clientAuth > extfile.cnf
//签名证书，输入123123，需要（签名客户端，ca证书，ca密钥）
openssl x509 -req -days 1000 -sha256 -in client.csr -CA ca.pem -CAkey ca-key.pem -CAcreateserial -out cert.pem -extfile extfile.cnf
//删除多余文件
rm -rf ca.srl client.csr extfile.cnf server.csr
//配置docker
vim /lib/systemd/system/docker.service
ExecStart=/usr/bin/dockerd --tlsverify --tlscacert=/tls/ca.pem --tlscert=/tls/server-cert.pem --tlskey=/tls/server-key.pem -H tcp://0.0.0.0:2376 -H unix:///var/run/docker.sock

//重启进程
systemctl daemon-reload
//重启docker服务
systemctl restart docker

//将 /tls/ca.pem /tls/cert.pem /tls/key.pem 三个文件复制到另一台主机
scp ca.pem [email protected]:/etc/docker/
scp cert.pem [email protected]:/etc/docker/
scp key.pem [email protected]:/etc/docker/

//本地验证
docker --tlsverify --tlscacert=ca.pem --tlscert=cert.pem --tlskey=key.pem -H tcp://master:2376 version
docker pull nginx



//client上操作
vim /etc/hosts
192.168.195.128 master

docker --tlsverify --tlscacert=ca.pem --tlscert=cert.pem --tlskey=key.pem -H tcp://master:2376 version

Client: Docker Engine - Community
 Version:           19.03.5
 API version:       1.40
 Go version:        go1.12.12
 Git commit:        633a0ea
 Built:             Wed Nov 13 07:25:41 2019
 OS/Arch:           linux/amd64
 Experimental:      false

Server: Docker Engine - Community
 Engine:
  Version:          19.03.5
  API version:      1.40 (minimum version 1.12)
  Go version:       go1.12.12
  Git commit:       633a0ea
  Built:            Wed Nov 13 07:24:18 2019
  OS/Arch:          linux/amd64
  Experimental:     false
 containerd:
  Version:          1.2.10
  GitCommit:        b34a5c8af56e510852c35414db4c1f4fa6172339
 runc:
  Version:          1.0.0-rc8+dev
  GitCommit:        3e425f80a8c931f88e6d94a8c831b9d5aa481657
 docker-init:
  Version:          0.18.0
  GitCommit:        fec3683

过程为：

[root@node4 ~]# mkdir /tls
[root@node4 ~]# cd /tls
[root@node4 tls]# 
[root@node4 tls]# hostnamectl set-hostname master
[root@node4 tls]# su
[root@master tls]# vim /etc/hosts
[root@master tls]# openssl genrsa -aes256 -out ca-key.pem 4096 
Generating RSA private key, 4096 bit long modulus
....................................................................................................................................................................................................................................++
....................................................................................++
e is 65537 (0x10001)
Enter pass phrase for ca-key.pem:
Verifying - Enter pass phrase for ca-key.pem:
[root@master tls]# openssl req -new -x509 -days 1000 -key ca-key.pem -sha256 -subj "/CN=*" -out ca.pem
Enter pass phrase for ca-key.pem:
[root@master tls]# openssl genrsa -out server-key.pem 4096 
Generating RSA private key, 4096 bit long modulus
.............................................................++
..................................................................................................++
e is 65537 (0x10001)
[root@master tls]# openssl req -subj "/CN=*" -sha256 -new -key server-key.pem -out server.csr
[root@master tls]# openssl x509 -req -days 1000 -sha256 -in server.csr -CA ca.pem -CAkey ca-key.pem -CAcreateserial -out server-cert.pem
Signature ok
subject=/CN=*
Getting CA Private Key
Enter pass phrase for ca-key.pem:
[root@master tls]# openssl genrsa -out key.pem 4096
Generating RSA private key, 4096 bit long modulus
............................................................................................................................................++
....................................................++
e is 65537 (0x10001)
[root@master tls]# openssl req -subj "/CN=client" -new -key key.pem -out client.csr
[root@master tls]# echo extendedKeyUsage=clientAuth > extfile.cnf
[root@master tls]# openssl x509 -req -days 1000 -sha256 -in client.csr -CA ca.pem -CAkey ca-key.pem -CAcreateserial -out cert.pem -extfile extfile.cnf
Signature ok
subject=/CN=client
Getting CA Private Key
Enter pass phrase for ca-key.pem:
[root@master tls]# ls
ca-key.pem  ca.pem  ca.srl  cert.pem  client.csr  extfile.cnf  key.pem  server-cert.pem  server.csr  server-key.pem
[root@master tls]# rm -rf ca.srl client.csr extfile.cnf server.csr
[root@master tls]# vim /lib/systemd/system/docker.service
[root@master tls]# systemctl daemon-reload 
[root@master tls]# systemctl restart docker
[root@master tls]# scp ca.pem [email protected]:/etc/docker/
The authenticity of host '20.0.0.30 (20.0.0.30)' can't be established.
ECDSA key fingerprint is SHA256:+lTBEgTyESalG8UjFBb8qMuQx94JhdStUl11/WxdMDw.
ECDSA key fingerprint is MD5:1c:33:02:4c:19:06:ab:28:67:98:f0:db:37:d3:10:30.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '20.0.0.30' (ECDSA) to the list of known hosts.
[email protected]'s password: 
ca.pem                                                                                                                   100% 1765     2.6MB/s   00:00    
[root@master tls]# scp cert.pem [email protected]:/etc/docker/
[email protected]'s password: 
cert.pem                                                                                                                 100% 1696     1.4MB/s   00:00    
[root@master tls]# scp key.pem [email protected]:/etc/docker/
[email protected]'s password: 
key.pem                                                                                                                  100% 3247     3.4MB/s   00:00    
[root@master tls]# docker --tlsverify --tlscacert=ca.pem --tlscert=cert.pem --tlskey=key.pem -H tcp://master:2376 version
Client: Docker Engine - Community
 Version:           19.03.14
 API version:       1.40
 Go version:        go1.13.15
 Git commit:        5eb3275d40
 Built:             Tue Dec  1 19:20:42 2020
 OS/Arch:           linux/amd64
 Experimental:      false

Server: Docker Engine - Community
 Engine:
  Version:          19.03.14
  API version:      1.40 (minimum version 1.12)
  Go version:       go1.13.15
  Git commit:       5eb3275d40
  Built:            Tue Dec  1 19:19:17 2020
  OS/Arch:          linux/amd64
  Experimental:     false
 containerd:
  Version:          1.3.9
  GitCommit:        ea765aba0d05254012b0b9e595e995c09186427f
 runc:
  Version:          1.0.0-rc10
  GitCommit:        dc9208a3303feef5b3839f4323d9beb36df0a9dd
 docker-init:
  Version:          0.18.0
  GitCommit:        fec3683

客户机：

[root@nodeapachenginx ~]# mkdir /tls
[root@nodeapachenginx ~]# cd /tls
[root@nodeapachenginx tls]# cd
[root@nodeapachenginx ~]# cd
[root@nodeapachenginx ~]# vim /etc/hosts
[root@nodeapachenginx ~]# ping master
PING master (20.0.0.40) 56(84) bytes of data.
64 bytes from master (20.0.0.40): icmp_seq=1 ttl=64 time=1.39 ms
^C
--- master ping statistics ---
1 packets transmitted, 1 received, 0% packet loss, time 0ms
rtt min/avg/max/mdev = 1.393/1.393/1.393/0.000 ms
[root@nodeapachenginx ~]# docker --tlsverify --tlscacert=ca.pem --tlscert=cert.pem --tlskey=key.pem -H tcp://master:2376 version
unable to resolve docker endpoint: open ca.pem: no such file or directory
[root@nodeapachenginx ~]# cd /etc/docker/
[root@nodeapachenginx docker]# ls
ca.pem  cert.pem  daemon.json  key.json  key.pem
[root@nodeapachenginx docker]# docker --tlsverify --tlscacert=ca.pem --tlscert=cert.pem --tlskey=key.pem -H tcp://master:2376 version
Client: Docker Engine - Community
 Version:           19.03.13
 API version:       1.40
 Go version:        go1.13.15
 Git commit:        4484c46d9d
 Built:             Wed Sep 16 17:03:45 2020
 OS/Arch:           linux/amd64
 Experimental:      false

Server: Docker Engine - Community
 Engine:
  Version:          19.03.14
  API version:      1.40 (minimum version 1.12)
  Go version:       go1.13.15
  Git commit:       5eb3275d40
  Built:            Tue Dec  1 19:19:17 2020
  OS/Arch:          linux/amd64
  Experimental:     false
 containerd:
  Version:          1.3.9
  GitCommit:        ea765aba0d05254012b0b9e595e995c09186427f
 runc:
  Version:          1.0.0-rc10
  GitCommit:        dc9208a3303feef5b3839f4323d9beb36df0a9dd
 docker-init:
  Version:          0.18.0
  GitCommit:        fec3683
[root@nodeapachenginx docker]# docker --tlsverify --tlscacert=ca.pem --tlscert=cert.pem --tlskey=key.pem -H tcp://master:2376 pull nginx
Using default tag: latest
latest: Pulling from library/nginx
Digest: sha256:6b1daa9462046581ac15be20277a7c75476283f969cb3a61c8725ec38d3b01c3
Status: Image is up to date for nginx:latest
docker.io/library/nginx:latest