使用codecs.open逐行读取文件时,发现有一行数据被分成了两行,原因是使用codecs.open打开后再逐行读取时会将字符\u2028视为换行,原来该字符是javascript中的转义字符点击打开链接,在一些从网页上抓取的文本中常见,同理还有\u2029,示意代码如下:
import codecs txt = u'aa\nbb\u2028cc' fd = open('a.txt', 'wb') fd.write(txt.encode('utf-8')) fd.close() print('=======open方式========') fd_1 = open('a.txt', 'rb') for line in fd_1.readlines(): print('---------------') print line fd_1.close() print('\n\n=======codecs.open方式========') fd_2 = codecs.open('a.txt', 'rb', 'utf-8') for line in fd_2.readlines(): print('---------------') print line fd_2.close()输出:
=======open方式======== --------------- aa --------------- bb cc =======codecs.open方式======== --------------- aa --------------- bb --------------- cc
结论:
1 使用codecs.open逐行读取文件时遇到\u2028,\u2029时会拆分成两行;
2 还有注意使用for line in fd_1.readlines():读取一行时,其一行内容中是包含了换行符的,所以要使用strip()去掉;