一、程序分析
1.读文件到缓冲区
def process_file(dst): #读文件到缓冲区
try: #打开文件
txt = open(dst,'r') #dst为文本目录路径
except IOError as s:
print(s)
return None
try: #读文件到缓冲区
bvffer = txt.read()
except:
print("Read File Error!!")
return None
txt.close()
return bvffer
2.设置缓冲区，记录单词词频，并读入字典
def process_buffer(bvffer):
if bvffer:
word_freq = {}
#下面添加处理缓冲区bvffer代码，统计每个单词的频率，存放在word_freq
for ch in '“‘!;,.?”': # 除去文本中的中英文标点符号
bvffer = bvffer.replace(ch, " ")
words = bvffer.lower().strip().split()
# strip()删除空白符（包括'/n', '/r','/t'）；split()以空格分割字符串
for word in words:
word_freq[word] = word_freq.get(word, 0) + 1
return word_freq
3.设置输出函数，设置结果
def output_result(word_freq):
if word_freq: # 根据v[1]即词频数量排序
sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True)
for item in sorted_word_freq[:10]: # 输出 Top 10 的单词
print("词:%-5s 频:%-4d " % (item[0], item[1]))
4.封装main函数
def main():
dst ='C:/Users/asus/Desktop/Gone_with_the_wind/Gone_with_the_wind.txt' # 《飘》文件的路径
bvffer = process_file(dst)
word_freq = process_buffer(bvffer)
output_result(word_freq)
if __name__ == "__main__":
cProfile.run("main()", "result")
# 把分析结果保存到文件中,不过内容可读性差...需要调用pstats模块分析结果
p = pstats.Stats("result") # 创建Stats对象
p.strip_dirs().sort_stats("call").print_stats() # 按照调用的次数排序
p.strip_dirs().sort_stats("cumulative").print_stats() # 按执行时间次数排序
p.print_callees("process_file") # 查看process_file()函数中调用了哪些函数
p.print_callees("process_buffer") # 查看process_buffer()函数中调用了哪些函数
p.print_callees("output_result") # 查看output_result()函数中调用了哪些函数
二、代码风格说明
python要求代码层次分明，并且利用缩进来体现
def output_result(word_freq):
if word_freq: # 根据v[1]即词频数量排序
sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True)
for item in sorted_word_freq[:10]: # 输出 Top 10 的单词
print("词:%-5s 频:%-4d " % (item[0], item[1]))
三、运行结果
四、性能分析
