本文利用自定制Dockerfile实现在mysql容器内自动定时备份,避免了在宿主机设置cron定时任务所带来的高耦合操作,更易于部署和搬迁.项目最新版已上传到github和DockerHub,建议直接到DockerHub查看使用.
网上其他教程大多都是利用宿主机crontab定期执行docker exec实现,很简单但每次部署mysql都需要设置,本教程则是将其封装起来,避免重复性工作.踩坑不易,请大家多多支持,未经本人允许禁止转载.
一. 文件结构
二. 文件介绍
- cron-shell文件夹
放置cron任务表文件crontab.bak和相关任务脚本,对应容器内文件夹为/cron-shell
- backup.sh
实现备份功能,用户可替换掉该文件以实现自己的备份逻辑 - crontab.bak
crontab任务表,要求结尾必须换行,且文件为Unix格式
- backup.sh
- init-shell文件夹
init-shell文件夹下的脚本在容器启动后由mysql用户执行(注意不是root用户)
- start.sh
功能:
- 将mysql用户的环境变量写入/etc/default/locale文件,使得这些环境变量对cron运行的脚本(如backup.sh)可见
- 启动cron
- 载入/cron-shell/crontab.bak定时任务列表文件
- start.sh
- init-sql文件夹
inti-sql文件夹下的sql脚本(.sql)或者sql的压缩文件(.sql.gz)在容器启动后由msql运行,通常用来实现数据库初始化,需要注意的是这些sql的执行顺序不固定,故如果对sql脚本执行顺序有要求的话应自己使用shell脚本实现
- data_20180909.sql.gz
数据库初始化sql的压缩包
- data_20180909.sql.gz
- Dockerfile
将文件复制进镜像文件,并安装sudo,cron工具,同时授予mysql组用户免密码使用sudo的权限. - docker-compose.yml
非必须,该文件中所有功能可通过docker run携带参数代替,但本人习惯使用docker-compose.yml文件将docker的启动参数记录下来,使用时直接docker-compose up -d就行
三. 实现思路
通过Dockerfile安装所需cron,利用docker-entrypoint.sh中自动执行/docker-entrypoint-initdb.d文件夹下shell和sql脚本的功能完成cron自启动和任务制定
四. 文件实现
1. baskup.sh
#!/bin/bash
#作为crontab运行的脚本,需特别注意环境变量问题,指令写成绝对路径
#读取环境变量
. /etc/profile
#如果目录不存在则新建
DIR=/var/lib/mysql/backup
if [ ! -e $DIR ]
then
/bin/mkdir -p $DIR
fi
#将所有数据库导出并按日期命名保存成sql文件并压缩
/usr/bin/mysqldump --all-databases -uroot -p"$MYSQL_ROOT_PASSWORD" | gzip > "$DIR/data_`date +%Y%m%d`.sql.gz"
#查找更改时间在7日以前的sql备份文件并删除
/usr/bin/find $DIR -mtime +7 -name 'data_[1-9].sql' -exec rm -rf {} \;
2. crontab.bak
*/1 * * * * /cron-shell/backup.sh
注意结尾要换行,并且文件格式要是Unix(其他所有sh脚本也是)
3. start.sh
#!/bin/bash
#此脚本由mysql用户执行,故需要加sudo避免权限不够,同时,新建文件一般放在/var/lib/mysql目录下,否则同样权限不够
#修改文件夹权限,否则无法在该目录下创建文件
sudo chmod 777 /etc/default
#将docker的环境变量输出到locale,使得cron定期运行的脚本可以使用这些环境变量,否则执行备份脚本时可能提示密码为空
env >> /etc/default/locale
#启动cron并将其启动结果写入文件
# 这里需要使用sudo,否则会提示cron: can't open or create /var/run/crond.pid: Permission denied
# 这个问题无法通过修改/var/run/crond或/run文件夹权限解决
# 需要注意的是,使用sudo后cron是在root用户下运行的,root用户下使用`service cron status`会出现` [ ok ] cron is running. `
# 而mysql执行`service cron status`则会出现` [FAIL] cron is not running ... failed! `
# 虽然如此,mysql用户身份制定的定时任务还是会执行的
sudo /usr/sbin/service cron start &>> /var/lib/mysql/cron-start.log
#授予权限
sudo chmod 777 -R /cron-shell
#修正文件格式,这里dos2unix的执行也需要sudo,否则会报错`Failed to change the owner and group of temporary output file /cron-shell/d2utmpKfjPMF: Operation not permitted`
for f in /cron-shell/*; do
sudo dos2unix "$f"
done
# 确保结尾换行,避免出现错误:`new crontab file is missing newline before EOF, can't install.`
echo "" >> /cron-shell/crontab.bak
#以/cron-shell/crontab.bak作为crontab的任务列表文件并载入
# 因为执行的定时任务一般是数据库相关的,mysql用户就可以了,如果使用root用户可能会报错:`Got error: 1045: Access denied for user 'root'@'localhost' (using password: YES) when trying to connect`
# 所以这里使用mysql用户载入定时任务表,任务脚本也将以mysql用户执行,需注意权限问题
crontab /cron-shell/crontab.bak
4. Dockerfile
FROM mysql:5.7
MAINTAINER LinShen
#将任务脚本复制进容器,需要注意不能放到/var/lib/mysql目录下,该目录随mysql初始化会被清空造成原文件丢失
COPY cron-shell/ /cron-shell/
#将int-shell中的脚本都复制到初始化文件夹中
COPY init-shell/ /docker-entrypoint-initdb.d/
#修正时区
RUN ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime \
&& echo 'Asia/Shanghai' >/etc/timezone \
#更新源
&& apt-get update \
#安装cron
&& apt-get install -y --no-install-recommends cron \
#安装dos2unix工具
&& apt-get install -y dos2unix \
#安装sudo
&& apt-get install sudo \
#授予mysql组用户sudo免密码
&& echo '%mysql ALL=(ALL) NOPASSWD: ALL' >> /etc/sudoers \
#减小镜像的体积
&& rm -rf /var/lib/apt/lists/* \
&& apt-get clean \
#赋予脚本可执行权限
&& chmod a+x -R /docker-entrypoint-initdb.d5. docker-compose.yml
这个文件自由实现,这里可以注意一下command的写法
version: '3.1'
services:
mysql-db:
build: ./mysql
restart: always
command:
- --character-set-server=utf8mb4
- --collation-server=utf8mb4_unicode_ci
environment:
MYSQL_ROOT_PASSWORD: hdcpptd123.
ports:
- "3306:3306"
volumes:
- /my/own/datadir:/var/lib/mysql五. 问题
(1) 在什么时候启动cron(在哪里执行service cron start)
我本来是想在Dockerfile里完成启动cron工作的,Dockerfile里执行语句无外乎RUN,CMD和ENTRYPOINT三种指令,但很可惜这三种指令都不行,最后只能利用docker-entrypoint.sh,下面进行分析说明:
1. RUN
RUN的特点是可以执行多条,每执行一条docker镜像就会多构建一层.
需要注意的是RUN通常只用来构建镜像,而镜像是不带有运行状态的.故RUN可完成安装软件,修改文件等操作,但使用service start是无意义的.
而CMD和ENTRYPOINT则是等到容器启动后才运行.
2. CMD
CMD每个Dockerfile文件可以有多条,但一个镜像只有最后一条CMD有效
MySQL官方镜像已经有用到CMD和ENTRYPOINT指令了,分别是CMD ["mysqld"]和ENTRYPOINT ["docker-entrypoint.sh"],当ENTRYPOINT和CMD同时存在时,CMD通常是作为ENTRYPOINT的参数,其内容视ENTRYPOINT的处理而执行.
而docker-entrypoint.sh中对cmd内容的分类有如下:
- 开头是
-, 认为是参数的情况
可携带参数,如–character-set-server=utf8mb4和–collation-server=utf8mb4_unicode_ci - 开头是 mysqld, 且用户 id 为0 (root 用户) 的情况
- 开头是 mysqld 的情况
- 其他情况
由docker-entrypoint.sh最后一句的exec "$@"负责执行用户的自定义语句
特别注意:前3种情况在docker-entrypoint.sh都有对应的处理,最终都会启动mysql,而最后一种情况不会 !
在前3种情况中CMD无法携带service cron start,会被视为参数忽略或报错,而最后一种启动cron的语句如下CMD service cron start && tail -n 1 -f somefile,其中tail语句是为了让容器在前台运行而不会自动退出.但是使用docker exec 进入容器就可以发现,mysql根本没有运行.而如果想在CMD里面同时启动cron和mysql就更麻烦了,几乎不可能(因为有很多mysql的初始化工作要做,这些本来是docker-entrypoint帮你做好的),而且这样就失去了使用docker-entrypoint.sh的意义,得不偿失.
3. ENTRYPOINT
ENTRYPOINT每个Dockerfile文件可以有多条,但一个镜像只有最后一条ENTRYPOINT有效
MySQL官方镜像的ENTRYPOINT是执行docker-entrypoint.sh,所以这一句是改不了的,要改不如直接改docker-entrypoint.sh.
以上,可以看出来,想要在Dockerfile里执行service cron start是不可能的,唯一的办法在docker-entrypoint.sh文件.
4. docker-entrypoint.sh
该文件的详细解读网上有比较多,可以直接把执行语句加在这里,毕竟这个文件就是来做这种事的,这也确实是个实现思路.但这么做修改了原来的文件,很不优雅,不符合开闭原则,还好MySQL镜像的设计者考虑到了这点,留下了个/docker-entrypoint-initdb.d文件夹
docker-entrypoint中相关语句如下
for f in /docker-entrypoint-initdb.d/*; do
process_init_file "$f" "${mysql[@]}"
done如上,会遍历/docker-entrypoint-initdb.d中的每个文件作为参数调用process_init_file方法,该方法如下
# usage: process_init_file FILENAME MYSQLCOMMAND...
# ie: process_init_file foo.sh mysql -uroot
# (process a single initializer file, based on its extension. we define this
# function here, so that initializer scripts (*.sh) can use the same logic,
# potentially recursively, or override the logic used in subsequent calls)
process_init_file() {
local f="$1"; shift
local mysql=( "$@" )
case "$f" in
*.sh) echo "$0: running $f"; . "$f" ;;
*.sql) echo "$0: running $f"; "${mysql[@]}" < "$f"; echo ;;
*.sql.gz) echo "$0: running $f"; gunzip -c "$f" | "${mysql[@]}"; echo ;;
*) echo "$0: ignoring $f" ;;
esac
echo
}如上,需要执行的shell脚本或者sql脚本,可放到/docker-entrypoint-initdb.d/目录下,如果是sql.gz的压缩包,容器会自动解压再执行.
需要注意的是,只能保证遍历全部执行而不保证顺序,所以有顺序需求的需要利用脚本自己实现.
很明显,cron的启动脚本应该放在这个文件夹下
(2) sh脚本文件须为Unix格式(Windows下默认为dos),同时注意提供可执行权限
dos转unix格式通常有以下几种方式:
1. windows:使用notepad++
依次点击”编辑”->”文档格式转换” ->”转换为UNIX格式”
2. linux:使用vim
在命令模式输入set ff=unix回车即可,set ff可以查看格式
3. linux:使用dos2unix
dos2unix后直接加文件名即可