版权声明：Jimy_Fengqi原创作品，欢迎转载，转载请注明http://blog.csdn.net/qiqiyingse https://blog.csdn.net/qiqiyingse/article/details/81540418
在使用FTP服务器的时候，有时候需要定时将服务器上面的内容同步到本地，此时有一个脚本能够自动化的更新就再好不过了。
本文提供一种自动化同步机制
对于FTP服务器，一般使用可视化软件 filezila，这样可以比较快捷的更新文件内容，但是数据量大的时候，即使是使用filezila也不行.
python之中， 它里面自带的一个库文件 ftplib ， 可以用它来连接FTP服务器。
使用filezila连接到服务器之后，基本可x看到下面这个样子，当我们点击一下‘最近修改’， 文件基本会按照时间顺序排序
这正是一个关键
因此，思路就是根据最近修改的时间来决定下载更新文件到本地
按照先广度，再深度这种思路，找到最近更新的文件，然后下载下来
上代码：
#coding:utf-8
import datetime
import random
import time
import string
import re
import sched
import os
from functools import cmp_to_key
from ftplib import FTP
ftpserveraddress = " 127.0.0.1" #目标FTP服务器网址
ftp_acc = 'username' #服务器账号
ftp_psw = 'password' #服务器密码
log_root = 'local_path' #本地存贮路径
cur_year=time.strftime("%Y",time.localtime())
#cur_mon=time.strftime("%b",time.localtime())
#cur_day=time.strftime("%d",time.localtime())
#cur_hour=time.strftime("%H",time.localtime())
#cur_min=time.strftime("%M",time.localtime())
st = sched.scheduler(time.time,time.sleep) #初始化调度器
def run_to_download(checktime):
'''
parameter:
checktime 检查最近checktime定义的时间内更新的文件
'''
currenttime=time.time()
print ("current new time is ",time.strftime("%Y-%m-%d_%H-%M-%S",time.localtime()))
ftp = FTP(ftpserveraddress)
ftp.login(ftp_acc,ftp_psw)
print (ftp.getwelcome())
update_file_lists=[]
second_update_folder_name_list=[]
#过滤符合目标时间内的文件
def first_filter(line):
'''
line 是FTP服务器上面各个文件的属性合集，类似于 在linux上输入 ls- l命令之后的内容
'''
ll=line.split()
tmp={}
if ll[8].find("-0")>-1 and ".zip" not in ll[8]:
fileinfo=ll
#fileinfo是一个list， 包含文件的这些属性['drw-rw-rw-', '1', 'user', 'group', '0', 'Aug', '8', '13:25', '.']
filetime=str(cur_year)+"-"+fileinfo[5]+"-"+fileinfo[6]+' '+fileinfo[7] #根据文件的第6，7，8项属性得到了文件更新的时间 "'2018-Aug-8 13:25'"
format_time=datetime.datetime.strptime(filetime,"%Y-%b-%d %H:%M")#组合转化文件最后修改的时间，最终将时间转为为标准计数时间
format_time=format_time.strftime("%Y%m%d%H%M")
format_time=time.strptime(format_time,"%Y%m%d%H%M")
format_time=time.mktime(format_time)
#根据当前时间减去文件更新时间，跟checktime比较，即得到最近指定时间内更新的文件
if (currenttime-format_time < int(checktime)) and len(fileinfo[8]) > 2: #十个小时内（36000的单位是秒）有文件更新的话，记录下来
tmp['update_file_name']=ll[8] #ll[8存贮着文件目录名字
tmp['file_update_time']=format_time
tmp['file_update_time_format_time']=filetime
update_file_lists.append(tmp)
ftp.retrlines("LIST",first_filter) #调用上面的过滤函数，选择出符合条件的文件或者文件夹
update_file_lists = sorted(update_file_lists,key=cmp_to_key(lambda x,y:x['file_update_time']-y['file_update_time']) ) #将最近更新的文件排序，优先下载更新时间比较久的文件
for i in update_file_lists:
print (" the folder %s modify at %s ,this file need update " % (i['update_file_name'],i['file_update_time_format_time']) )
second_update_folder_name_list.append(i['update_file_name'])
print ("current id list is ...............")
print (second_update_folder_name_list)
#进入下一级目录，基本同样的规则
for i in range(0, len(second_update_folder_name_list)):
r_log = '\\'+second_update_folder_name_list[i]
ftp.cwd(r_log)
print(r_log)
log_dir = []
def second_filter(line):
ll=line.split()
#print(ll)
fileinfo=ll #获取当前目录下的文件夹属性值
#['drw-rw-rw-', '1', 'user', 'group', '0', 'Aug', '8', '13:25', '.']
filetime=str(cur_year)+"-"+fileinfo[5]+"-"+fileinfo[6]+' '+fileinfo[7] #"'2018-Aug-8 13:25'"
format_time=datetime.datetime.strptime(filetime,"%Y-%b-%d %H:%M")#组合转化文件最后修改的时间，最终将时间转为为标准计数时间
format_time=format_time.strftime("%Y%m%d%H%M")
format_time=time.strptime(format_time,"%Y%m%d%H%M")
format_time=time.mktime(format_time)
#print("check time is ", checktime )
if (currenttime-format_time < int(checktime)) and len(fileinfo[8]) > 2: #十个小时内（36000的单位是秒）有文件更新的话，记录下来
log_dir.append(ll[8]) #ll[8存贮着文件目录名字]
ftp.retrlines("LIST",second_filter)
print(log_dir)
for i in range(0, len(log_dir)):
record_log = "/" + r_log.strip('\\') + "/" + log_dir[i] +"/"
#print ("log_dir is %s"%log_dir[i])
print ("log_dir %s has update"%record_log)
loglist = ftp.nlst(record_log)
print ("loglist is %s"%loglist)
ftp.cwd(record_log)
#print("pwd is %s"%ftp.pwd())
for log in loglist:
log_path = log_root + record_log
#print (log_path)
if not os.path.exists(log_path): #判断本地目录是否存在，没有就重新创建
os.makedirs(log_path)
#xxx = log_root + "/" + log # dir is ../log
xxx = log_path + log # dir is ../log-123456
if os.path.exists(xxx): #因为没有对log文件进行时间排序，因此会出现这个文件夹持续更新的情况，所以加上一层判断，如果文件已经存在，不用再次更新
#print("%s is exists, do not need update again" % xxx)
pass
else:
fp = open(xxx,'wb')
ftp.retrbinary('RETR '+log,fp.write)
fp.close()
print ("log %s didn't exists , is updating now ..." % log)
print ("........before clear , the id list , id _lists is..........")
print (update_file_lists)
print (second_update_folder_name_list)
update_file_lists.clear()
second_update_folder_name_list.clear()
print("after clear , the id list , id _lists, and log_dir is : ")
print (update_file_lists)
print (second_update_folder_name_list)
print("---------------------------finished-----------------------------------------")
st.enter(60,1,run_to_download,(360,)) #360 is the checktime
if __name__ == '__main__':
st.enter(1,1,run_to_download,(360,)) #360 is the checktime
st.run()
收获主要是，python3上面的排序方法， sort函数中的cmp函数不用了， 这里用了新的方法
另外，ftp服务器中，获取文件更新时间的方法比较特别