一、文件操作
基础知识：
1.open是打开已存在的文件或新建一个文件(在文件名后需加访问模式)
2.close是把刚刚新建或打开的文件关闭
3.write可以向文件中导入数据
4.read(num)可以从文本中读取数据，num表示要从文件中读取的数据的长度(单位是字节)，如果没有传入num,那么就表示读取文件中所有的数据
5.readlines可以按照操作行的方式把整个文件中的内容一次性读取，并且返回的是一个列表，其中每一行的数据为一个元素
6.tell在读写过程中可以知道文件的地址
7.seek()在读写过程中可以进行另一个位置操作
seek(offset,fom)
offset:偏移量
from:方向
0：表示文件开头
1：表示当前位置
2：表示文件末尾
另：
在os模块中对文件的操作
1.rename 可以对文件重命名
2.remove 可以对文件进行删除操作
3.mkdir 创建文件夹
4.getcwd 获取当前目录
5.chdir 改变默认目录
6.listdir 获取目录列表
7.rmdir 删除文件夹
对文件的操作分三步：
1、打开文件获取文件的句柄，句柄就理解为这个文件
2、通过文件句柄操作文件
3、关闭文件。
基本操作 ：
1 f = open('file.txt','r') #以只读方式打开一个文件，获取文件句柄，如果是读的话，r可以不写，默认就是只读, 2 在python2中还有file方法可以打开文件，python3中file方法已经没有了，只有open
res = f.read()#获取所有文件内容
print(res) #打印文件的所有内容
f.close()#关闭文件
f = open('file.txt','r')
3 frist_line = f.readline()#获取文件的第一行内容，返回的是一个list 4 print(frist_line)#打印第一行
f.close()#关闭文件
打开文件时，需要指定文件路径和以何等方式打开文件，打开后，即可获取该文件句柄，后面通过此文件句柄对该文件操作，
打开文件的模式有：
1 r，只读模式（默认）。打开文件不存的话，会报错 2 w，只写模式。【不可读；不存在则创建；存在则删除内容；】 3 a，追加模式。【不可读； 不存在则创建；存在则只追加内容；】 4 5 6 "+" 表示可以同时读写某个文件 7 8 r+ 读写模式 【可读、可写；可追加，如果打开的文件不存在的话，会报错】 9 w+ 写读模式 【写读模式，使用w+的话，已经存在的文件内容会被清空，可以读到已经写的文件内容】 10 a+ 追加读模式 【追加读写模式，不存在则创建；存在则只追加内容；】 11 12 "U"表示在读取时，可以将 \r \n \r\n自动转换成 \n （与 r 或 r+ 模式同使用） 13 14 rU 15 r+U 16 17 "b"表示处理二进制文件（如：FTP发送上传ISO镜像文件，linux可忽略，windows处理二进制文件时需标注） 18 rb 19 wb 20 ab
文件操作方法：
1 f = open('file.txt','r+',encoding='utf-8')#encoding参数可以指定文件的编码 2 f.readline()#读一行 3 f.readable()#判断文件是否可读 4 fr.writable()#判断文件是否可写 5 fr.encoding#打印文件的编码 6 f.read()#读取所有内容，大文件时不要用，因为会把文件内容都读到内存中，内存不够的话，会把内存撑爆 7 f.readlines()#读取所有文件内容，返回一个list，元素是每行的数据，大文件时不要用，因为会把文件内容都读到内存中，内存不够的话，会把内存撑爆 8 f.tell()#获取当前文件的指针指向 9 f.seek(0)#把当前文件指针指向哪 10 f.write('爱情证书')#写入内容 11 f.fulsh()#写入文件后，立即从内存中把数据写到磁盘中 12 f.truncate()#清空文件内容 13 f.writelines(['爱情证书','孙燕姿'])#将一个列表写入文件中 14 f.close()关闭文件
读取小文件时，可以
1 f = open('users.txt',encoding='utf-8') 2 #文件对象、文件句柄 3 4 # while True: 5 # line = f.readline() 6 # if line!='': 7 # print('line:',line) 8 # else: 9 # print('文件内容都读完了，结束了') 10 # break
用上面的read()和readlines()方法操作文件的话，会先把文件所有内容读到内存中，这样的话，内存数据一多，非常卡，高效的操作，就是读一行操作一行，读过的内容就从内存中释放了
大文件时，读取文件高效的操作方法：
1
f = open('users.txt',encoding='utf-8')
for line in f: 2 print(line)
这样的话，line就是每行文件的内容，读完一行的话，就会释放一行的内存
with使用：
在操作文件的时候，经常忘了关闭文件，这样的就可以使用with，它会在使用完这个文件句柄之后，自动关闭该文件，使用方式如下：
1 with open('file.txt','r') as f:#打开一个文件，把这个文件的句柄付给f 2 for line in f: 3 print(line) 4 with open('file.txt') as fr,with open('file_bak','w') as fw: #这个是多文件的操作，打开两个文件，fr是读file.txt，fw是新建一个file_bak文件 5 for line in fr:#循环file.txt中的每一行 6 fw.write(line)#写到file_bak文件中
修改文件：
修改文件的话，有两种方式，
一种是把文件的全部内容都读到内存中，然后把原有的文件内容清空，重新写新的内容；
第二种是把修改后的文件内容写到一个新的文件中
下面是一个file.txt
寂寞当然有一点
你不在我身边
总是特别想念你的脸
距离是一份考卷
第一种方法： a:
1 #1、简单、粗暴直接的 2 f = open('file.txt',encoding='utf-8') 3 res = f.read().replace('一点','二点') 4 f.close() 5 f = open('file.txt',mode='w',encoding='utf-8') 6 f.write(res) 7 f.flush() # 立即把缓冲区里面的内容，写到磁盘上 8 f.close()
替换后的lile.txt :
寂寞当然有二点
你不在我身边
总是特别想念你的脸
距离是一份考卷
或者 ： b:
1 with open('file.txt', 'r+',encoding='utf-8') as fr: 2 res1 = fr.read() 3 fr.seek(0) 4 new_res = res1.replace('你', 'you') 5 fr.write(new_res)
或者 ：
f = open('file.txt','a+',encoding='utf-8') f.seek(0) res = f.read().replace('你','you') f.seek(0) f.truncate() #清空文件里面的内容 f.write(res) f.close()
修改后的file.txt:
寂寞当然有二点
you不在我身边
总是特别想念you的脸
距离是一份考卷
第二种方法：
（二）a: import os f = open('file.txt',encoding='utf-8') f2 = open('file.txt.bak','w',encoding='utf-8') for line in f: new_line = line.replace('一点','二点') f2.write(new_line) f.close() f2.close() os.remove('file.txt') os.rename('file.txt.bak','file.txt') （二）b: import os with open('file.txt',encoding='utf-8') as f, open('file.txt.bak','w',encoding='utf-8') as f2: #这个是多文件的操作，打开两个文件，f是读file.txt，f2是新建一个file_bak文件 for line in f: #循环file.txt中的每一行 new_line = line.replace('一点','二点') f2.write(new_line) #写到file_bak文件中 os.remove('file.txt') os.rename('file.txt.bak','file.txt')
替换后file.txt:
寂寞当然有二点
你不在我身边
总是特别想念你的脸
距离是一份考卷
拓展练习 ： 监控日志
日志文件 ：
access.log
178.210.90.90 - - [04/Jun/2017:03:44:13 +0800] "GET /wp-includes/logo_img.php HTTP/1.0" 302 161 "http://nnzhp.cn/wp-includes/logo_img.php" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/533.4 (KHTML, like Gecko) Chrome/5.0.375.99 Safari/533.4" "10.3.152.221" 178.210.90.90 - - [04/Jun/2017:03:44:13 +0800] "GET /blog HTTP/1.0" 301 233 "http://nnzhp.cn/wp-includes/logo_img.php" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/533.4 (KHTML, like Gecko) Chrome/5.0.375.99 Safari/533.4" "10.3.152.221" 178.210.90.90 - - [04/Jun/2017:03:44:15 +0800] "GET /blog/ HTTP/1.0" 200 38278 "http://nnzhp.cn/wp-includes/logo_img.php" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/533.4 (KHTML, like Gecko) Chrome/5.0.375.99 Safari/533.4" "10.3.152.221" 66.249.75.29 - - [04/Jun/2017:03:45:55 +0800] "GET /bbs/forum.php?mod=forumdisplay&fid=574&filter=hot HTTP/1.1" 200 17482 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "-" 37.9.169.20 - - [04/Jun/2017:03:47:59 +0800] "GET /wp-admin/security.php HTTP/1.1" 302 161 "http://nnzhp.cn/wp-admin/security.php" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/533.4 (KHTML, like Gecko) Chrome/5.0.375.99 Safari/533.4" "-" 37.9.169.20 - - [04/Jun/2017:03:48:01 +0800] "GET /blog HTTP/1.1" 301 233 "http://nnzhp.cn/wp-admin/security.php" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/533.4 (KHTML, like Gecko) Chrome/5.0.375.99 Safari/533.4" "-" 37.9.169.20 - - [04/Jun/2017:03:48:02 +0800] "GET /blog/ HTTP/1.1" 200 38330 "http://nnzhp.cn/wp-admin/security.php" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/533.4 (KHTML, like Gecko) Chrome/5.0.375.99 Safari/533.4" "-" 37.9.169.20 - - [04/Jun/2017:03:48:21 +0800] "GET /wp-admin/security.php HTTP/1.1" 302 161 "http://nnzhp.cn/wp-admin/security.php" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/533.4 (KHTML, like Gecko) Chrome/5.0.375.99 Safari/533.4" "-" 37.9.169.20 - - [04/Jun/2017:03:48:21 +0800] "GET /blog HTTP/1.1" 301 233 "http://nnzhp.cn/wp-admin/security.php" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/533.4 (KHTML, like Gecko) Chrome/5.0.375.99 Safari/533.4" "-" 37.9.169.20 - - [04/Jun/2017:03:48:23 +0800] "GET /blog/ HTTP/1.1" 200 38330 "http://nnzhp.cn/wp-admin/security.php" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/533.4 (KHTML, like Gecko) Chrome/5.0.375.99 Safari/533.4" "-" 42.236.49.31 - - [04/Jun/2017:03:49:04 +0800] "GET /questions HTTP/1.1" 200 41977 "http://bbs.besttest.cn/questions" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider" "-" 66.249.75.28 - - [04/Jun/2017:03:49:42 +0800] "GET /bbs/forum.php?mod=forumdisplay&fid=473&filter=digest&digest=1 HTTP/1.1" 200 17242 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "-" 123.125.71.60 - - [04/Jun/2017:03:52:50 +0800] "GET /robots.txt HTTP/1.1" 302 161 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" "-" 123.125.71.117 - - [04/Jun/2017:03:52:50 +0800] "GET /blog HTTP/1.1" 301 233 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" "-" 123.125.71.80 - - [04/Jun/2017:03:52:51 +0800] "GET /blog/ HTTP/1.1" 200 38330 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" "-" 66.249.75.28 - - [04/Jun/2017:03:53:29 +0800] "GET /bbs/forum.php?mod=forumdisplay&fid=516&filter=heat&orderby=heats HTTP/1.1" 200 17019 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "-" 40.77.167.135 - - [04/Jun/2017:03:55:07 +0800] "GET /static/css/bootstrap/fonts/glyphicon
1 #1、要从日志里面找到1分钟之内访问超过200次的 2 #2、每分钟都运行一次 3 4 # 1、读取文件内容，获取到ip地址 5 # 2、把每个ip地址存起来 {} 6 # 3、判断ip访问的次数是否超过200次 7 # 4、加入黑名单 print 8 9 #['118.24.4.30','118.24.4.30','118.24.4.30','118.1xx.x.xx','118.1xx.x.xx'] 10 # { 11 # '118.23.3.40':2, 12 # '118.23.3.41':5 13 # } 14 import time 15 point = 0 #初始的位置 16 while True: 17 ips = {} # 存放ips字典 18 f = open('access.log',encoding='utf-8') 19 f.seek(point) 20 for line in f: #循环取文件里面每行数据 21 ip = line.split()[0] #按照空格分割，取第一个元素就ip 22 if ip in ips:#判断这个ip是否存在 23 # ips[ip] = ips[ip]+1 24 ips[ip]+=1#如果存在的话，次数加+1 25 else: 26 ips[ip]=1 #如果不存在ip的次数就是1 27 point = f.tell() #记录文件指针位置，下一个60s后从这个位置开始循环 28 f.close() 29 for ip,count in ips.items():#循环这个字典，判断次数大于200的 30 if count>=200: 31 print('%s 加入黑名单'%ip) 32 time.sleep(60) 3
二、处理Json
# json通用的数据类型，所有的语言都认识
# k-v { }
#json串是字符串
json串格式 ： 用三个单引号 引住json ps: json的键值一定是用双引号
1 s=''' 2 { 3 "error_code": 0, 4 "stu_info": [ 5 { 6 "id": 309, 7 "name": "小白", 8 "sex": "男", 9 "age": 28, 10 "addr": "河南省济源市北海大道32号", 11 "grade": "天蝎座", 12 "phone": "18512572946", 13 "gold": 100 14 }, 15 { 16 "id": 310, 17 "name": "小白", 18 "sex": "男", 19 "age": 28, 20 "addr": "河南省济源市北海大道32号", 21 "grade": "天蝎座", 22 "phone": "18516572946", 23 "gold": 100 24 } 25 ] 26 } 27 28 '''
json是一种所有语言中都通用的key-value数据结构的数据类型，很像python中的字典，json处理使用json模块，json模块有下面常用的方法：
json.dumps()
json.dump()
json.loads()
json.load()
1 import json 2 dic = {"name":"niuniu","age":18} 3 print(json.dumps(dic))#把字典转成json串
# 输出 ：
{"age": 18, "name": "niuniu"}
4 fj = open('a.json','w') # a.json不存在的 5 print(json.dump(dic,fj))#把字典转换成的json串写到一个文件里面
# 输出 ： 在当前的目录下，新增了一个a.json文件，文件内容为json ：
{"age": 18, "name": "niuniu"}
6 s_json = '{"name":"niuniu","age":20,"status":true}' 7 print(json.loads(s_json))#把json串转换成字典
# 输出 ：
{'status': True, 'name': 'niuniu', 'age': 20}
8 fr = open('a.json','r') # a.json 内容为 ： {"age": 18, "name": "niuniu"}
9 print(json.load(fr))#从文件中读取json数据，然后转成字典
# 输出 ：
{'name': 'niuniu', 'age': 18}