pandas.errors.ParserError: Error tokenizing data. C error: EOF inside string starting at row 56789

       笔者在用pandas读取csv文件时遇到该报错,根据报错提示,是因为在解析时出现了意外的文件结束符。在具体的报错信息中,会提示第几行触发异常,所以笔者通过查看原始原件的相应的第56789行,发现是该行出现了乱码,并且乱码中有一个双引号;所以实际上,该报错是因为pandas读取csv文件时,会默认把csv文件中两个双引号之间的内容解析为一个string,作为一个字段域读入,并且忽略两个双引号之间的分隔符。所以,在默认方式下,一旦文件中出现了奇数个双引号,那么最后一个引号从所在的行开始,直到文件结束也没有对应的结束引号形成单个字段域,就会报这个异常,即文件结束符(EOF)出现在了字符串中。

       解决办法就是改变pandas在读取csv的这种默认行为。在pandas的read_csv函数中,有两个参数和这个行为有关,分别是quotechar引用符和quoting引用行为,如下所示,摘自pandas的官方文档。

quotechar : str (length 1), optional

The character used to denote the start and end of a quoted item. Quoted items can include the delimiter and it will be ignored.

quoting : int or csv.QUOTE_* instance, default 0

Control field quoting behavior per csv.QUOTE_* constants. Use one of QUOTE_MINIMAL (0), QUOTE_ALL (1), QUOTE_NONNUMERIC (2) or QUOTE_NONE (3).

       quotechar引用符参数是表示在读取解析时,将指定的符号认为是引用符,不仅仅限制于双引号,默认情况下是双引号。被设为引用符之后,就会按照上面所述的那样,在引用符之间的内容会被解析为单个域读入,包括换行符和分隔符。而quoting表示引用行为,即如何对待引用符的解析。这里具有四种情况,分别是csv.QUOTE_MINIMAL, csv.QUOTE_ALL, csv.QUOTE_NONNUMERIC, csv.QUOTE_NONE.默认是csv.QUOTE_MINIMAL.这四个参数的解释如下:

csv.QUOTE_MINIMAL:只有当遇到引用符时,才会将引用符之间的内容解析为一个字符域读入,并且读取之后的域是没有引用符的,即引用符本身只作为一个域的边界界定,不会显示出来;在写入时,也只有具有引用符的域会在文件中加上引用符。

csv.QUOTE_ALL:在写入文件时,将所有的域都加上引用符。

csv.QUOTE_NONNUMERIC:写入文件时,将非数字域加上引用符。

csv.QUOTE_NONE:读取文件时,不解析引用符,即把引用符当做普通字符对待并且读入,不做特殊的对待;在写入文件时,也不对任何域加上引用符。

扫描二维码关注公众号,回复: 13114918 查看本文章

       所以,要解决这个异常,我们只需要将quoting参数设为3,或者导入python的内置模块csv,设为csv.QUOTE_NONE,这样pandas在读取时,就只会把引用符当做普通字符,从而不会一直寻找对应的结束引用符直至文件结束都没找到,从而报错。当然,由于这行是乱码,分隔符数量很可能也不正常,即分隔后和前面的行的域的个数不一致,还会报错,所以我们只需要将error_bad_lines参数设为False,这样pandas就会自动删除这种不正常的bad lines,从而文件剩下的正常的内容就可以正常的读入了。当然,根据quotechar的功能,我们也可以通过将quotechar设为其他的单个字符,从而pandas会把双引号当做普通字符,但是这样做的风险在于可能会触发其他引用符带来的异常,所以不推荐这样做。

猜你喜欢

转载自blog.csdn.net/S_o_l_o_n/article/details/108553404