1. 背景
基于Python的第三方库APSchedule,用来提供Python的后台程序,实现每隔24小时调用Django的orm来对数据库进行数据处理。
2. 出现的问题
在间隔24小时之后,执行定时调度的后台线程进行数据库查询时,出现(2006, 'MySQL server has gone away')
的报错。
3. 原因排查的过程
结合具体的报错代码段以及参考这两篇博客:[Django1.6]跑批任务错误(2006, ‘MySQL server has gone away’)和MySQL server has gone away 设置mysql连接自动断开,初步判断是由于长时间没有操作数据库导致连接被数据库断开而导致的报错。
因为Mysql的wait_timeout
默认是8个小时,而我项目中定时任务是24小时执行一次,且一次执行需要的时间是几分钟不到,当第一次执行的时候,Django和Mysql建立的一个连接会自动保持8小时的连接,但是8小时之后Mysql会断开这个连接,而第二次执行任务的时候Django还用上次的连接去连接mysql,因此得到一个gone away的结果。
4. 解决方案
-
在Django进行数据库处理之前,就主动关闭Django到Mysql的数据库连接,然后重新建立一个来查询。
from django.db import connection def is_connection_usable(): try: connection.connection.ping() except: return False else: return True def do_work(): if not is_connection_usable(): connection.close() try: pass //执行数据库相关操作 except: logger.exception("Something bad happened, trying again") sleep(1)
-
在数据库的配置文件内配置超时时间
wait_timeout
,默认为8小时,但是这种方案不推荐。
也有说可以在Django的DATABASES
里面配置CONN_MAX_AGE
,但是CONN_MAX_AGE
的值不能大于数据库服务器的wait_timeout
的值,该值表示的是在数据库默认连接超时时间之前,数据库真正关闭连接的时长。所以在数据库服务器的wait_timeout
的值未修改的前提下,修改此值意义不大。
参考资料:
Django数据库连接
[Django1.6]跑批任务错误(2006, ‘MySQL server has gone away’)
MySQL server has gone away 设置mysql连接自动断开