admin管理员组

文章数量:1611397

 

Python在读取文本信息时候出现以下的错误提示:

UnicodeDecodeError: 'gbk' codec can't decode byte 0xbf in position 2: illegal multibyte sequence

错误的意思是:Unicode的解码(Decode)出现错误了,以gbk编码的方式去解码(该字符串变成Unicode),但是此处通过gbk的方式,却无法解码(can't decode).''illegal multibyte sequence"的意思是非法的多字节序列,也就是说无法解码了。

出现这样的错误,可能是要处理的字符串本身不是gbk编码,却是以gbk编码去解码。比如,字符串本身是utf-8的,但用gbk去解码,必然出错。

针对以上的这个问题,查阅网上资料,可以按照如下的步骤进行尝试:

(1)在打开文本时候,可以指明打开方式:

file = open(path, encoding='gbk')

或者 

file = pd.read_csv(path, encoding='gbk')

(2)如果上一步还不能解决,可能是文本中出现的一些特殊符号超出了gbk的编码范围,可以选择编码范围更广的‘gb18030’,如:

 file = open(path, encoding='gb18030')

或者 

file = pd.read_csv(path, encoding='gb18030')

(3)如果(2)还不能解决,说明文中出现了连‘gb18030'也无法编码的字符,可以使用‘ignore’属性忽略非法字符,如:

file = open(path, encoding='gb18030', errors='ignore')

或者:

file = pd.read_csv(path, encoding='gb18030',error_bad_lines=False)

参考官方文档:https://pandas.pydata/pandas-docs/stable/reference/api/pandas.read_csv.html 

本文标签: 报错gbkCodecPythonUnicodeDecodeError